Harness Continual Learning: Continual Adaptation Beyond Model Parameters

모델은 얼려두고 프롬프트·메모리·도구·라우팅 같은 '하네스'를 계속 진화시키는 새 지속학습 패러다임을 제안한 논문이다.

이 논문은 한마디로 에이전트의 외부 장치(하네스)를 대상으로 하는 지속학습(HCL)을 정식화한 연구다. 모델 파라미터 대신 태스크 인터페이스·경험 메모리·능력 맵·적응 라우터가 학습 대상이다. 문제는 하네스를 고치면 예전에 잘 되던 행동이 무너지는 '하네스 망각'이 생긴다는 것이다. 논문은 후보 하네스를 개선·과거 유지·유효성 3중 검사 후에만 확정하는 guarded evolution으로 이를 통제했다. 텍스트 추론·멀티모달·오픈월드 실험에서 기존 대비 10% 넘는 상대 향상을, 망각은 예산 조절로 명시적으로 조절함을 보였다.

핵심 요약

• 지속학습의 대상을 모델 파라미터에서 하네스(프롬프트·메모리·도구·라우팅)로 옮기는 HCL 패러다임을 정식화했다.
• '하네스 망각'을 새로 정의하고, 개선·역사 유지·유효성 검사를 통과해야 확정하는 guarded evolution으로 통제했다.
• 역사 손실 예산을 0으로 잡으면 평균 망각 0.39, 무제한으로 두면 3.45로, 안정-가소성 트레이드오프를 명시적으로 조절할 수 있었다.
• 텍스트·멀티모달·오픈월드 3개 영역에서 상대 향상 10% 이상, 멀티모달 최고 종합 68.92%를 달성했다.
• 컴포넌트 제거 실험에서 경험 메모리와 태스크 인터페이스 업데이트가 성능·유지에 가장 크게 기여했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.