SkillSmith: Learning to Compose Parametric Skills and Textual Knowledge

에이전트가 텍스트 지식과 모델 가중치를 동시에 이해하고 합성해서 새로운 스킬을 만들어내는 시스템이다. 가중치를 하나의 '모달리티'로 다루는 게 핵심 혁신이다.

이 논문은 한마디로 LLM 에이전트가 텍스트 지식과 자기 가중치(파라미터)를 동시에 읽고 이해해서, 둘을 조합해 새로운 스킬의 가중치를 직접 만들어내는 방법을 제안한다. 기존에는 텍스트 기반 지식 관리와 가중치 기반 스킬 라이브러리가 따로 발전했는데, SkillSmith는 모델 가중치를 텍스트처럼 처리할 수 있는 하나의 입력 모달리티로 취급한다. Prefix-tuning(앞부분만 미세조정하는 기법) 방식의 가중치를 LLM에 넣으면서, 관련 텍스트 설명과 목표 능력을 함께 제공하면, SkillSmith가 새로운 prefix 가중치를 직접 출력한다. 4B Gemma 3 모델로 실험한 결과, 텍스트만 또는 가중치만 쓰는 방식을 모두 뛰어넘었고, 특히 합성 데이터(Composite SNI)로 사전학습하면 적은 데이터로도 강력한 성능을 냈다.

핵심 요약

• 모델 가중치(prefix-cache)를 텍스트와 동급의 모달리티로 취급해서 LLM이 둘을 함께 읽고 추론할 수 있게 했다.
• SkillSmith는 소스 태스크의 가중치 + 텍스트 메타데이터 + 목표 설명을 입력받아, 목표에 맞는 새 prefix 가중치를 직접 합성해 낸다.
• Composite SNI라는 합성 데이터셋을 새로 구축해서, 두 태스크의 기술을 조합해야 하는 새로운 태스크에서 텍스트+가중치 조합의 효과를 검증했다.
• 4B Gemma 3 기준으로 텍스트만, 가중치만 쓰는 모든 베이스라인을 뛰어넘었고, MMLU-ProX에서는 다운스트림 파인튜닝 기반 방법들도 이겼다.
• 검색기반 접근으로 정확한 소스 매핑 없이도 노이즈가 있는 환경에서 관련 신호를 추출해 효과적으로 가중치를 합성할 수 있음을 보였다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.