Parametric Skills

텍스트 스킬 문서를 hypernetwork로 LoRA 어댑터로 변환하여 컨텍스트 없이 스킬 활용. SWE 과제에서 in-context 대비 +6.44점, test-time continual learning 가능성까지.

ParametricSkills는 텍스트 기반 스킬 문서를 test-time에 hypernetwork를 통해 LoRA 어댑터로 변환하는 프레임워크로, 긴 컨텍스트에서 핵심 지시사항을 놓치는 문제를 해결한다. 45.8k 스킬 라이브러리를 구축하고 OpenCode 샌드박스에서 단일/멀티턴 스킬 활용 궤적을 합성해 hypernetwork를 훈련한다. Qwen3-8B 기반으로 6개 SWE 과제에서 in-context 스킬 대비 LLM judge 기준 +6.44점, BERT Score +1.17, F1 +5.53%를 달성했으며, 파라메트릭 스킬의 EMA 병합으로 test-time continual learning의 가능성도 보였다.

핵심 요약

• 핵심 문제: in-context 스킬은 모델의 지시사항 이해/준수 능력에 제약받으며, 특히 오픈소스 모델이나 긴 컨텍스트에서 성능 급락
• 해결책: hypernetwork가 텍스트 스킬을 입력받아 단일 forward pass로 LoRA 어댑터 생성 -> 컨텍스트 윈도우 소모 없이 스킬 적용
• 45.8k 규모 고품질 스킬 라이브러리 구축(웹 크롤링 + 실제 에이전트 궤적 요약), 13개 도메인 커버
• SWE 6개 과제 평가: ParametricSkills 64.09 vs In-Context 57.65 vs SHINE 48.48(LLM judge 평균) — SHINE은 스킬 내용+활용법을 충실히 압축하지 못함
• Rank-concatenation 병합으로 다중 스킬 조합 시 single-LoRA 대비 동등 이상 성능, factor-wise linear 병합보다 우수
• HumanEval 기반 self-evolving 실험: 5라운드 반복으로 75%->84.76% 정확도 향상, online continual merge 시 29%->51.6%로 추가 향상

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.