Code2LoRA: Hypernetwork-Generated Adapters for Code Language Models under Software Evolution

하이퍼네트워크로 리포지토리별 LoRA 어댑터를 생성해 코드 모델에 저장소 지식을 주입하는 프레임워크다.

Code2LoRA는 하이퍼네트워크 기반 프레임워크로, 리포지토리별 LoRA 어댑터를 생성해 코드 언어모델에 저장소 수준의 맥락을 추론 시 추가 토큰 없이 주입한다. 정적 스냅샷을 위한 Code2LoRA-Static과 코드 변경사항마다 GRU 은닉 상태를 업데이트하는 Code2LoRA-Evo 두 가지 모드를 제공한다. 604개 Python 리포지토리로 구축한 RepoPeftBench에서 정적 트랙 66.2%, 진화 트랙 60.3% exact match를 달성해 기존 방법들을 능가한다.

핵심 요약

• 하이퍼네트워크가 리포지토리별 LoRA 어댑터를 생성해 추론 시 토큰 오버헤드 없이 저장소 지식을 주입한다.
• 정적 스냅샷용 Code2LoRA-Static과 진화하는 코드베이스용 Code2LoRA-Evo 두 모드를 지원한다.
• Code2LoRA-Evo는 GRU 은닉 상태로 커밋별 diff에 적응한다.
• 604개 Python 리포지토리 기반 RepoPeftBench 벤치마크를 새로 구축했다.
• 정적 트랙 66.2%, 진화 트랙 60.3% exact match로 리포지토리별 LoRA 상한에 근접한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.