Turbo Harness: Instance-Adaptive Harness Optimization

이 논문은 모든 과제에 하나의 하네스를 일괄 적용하는 대신, 과제마다 맞춤 하네스를 자동 생성하는 방법을 제안했다.

이 논문은 한마디로 에이전트 하네스 최적화에서 '평균적으로 좋은 하나'가 아니라 '과제별 맞춤'을 만드는 Turbo Harness를 제안한 연구다. 저자들은 기존 하네스 최적화가 하나의 전역 하네스를 모든 과제에 똑같이 쓰는 한계, 그리고 최화 과정에서 버려지는 정보가 많다는 점을 지적했다. Turbo Harness는 최적화 중 남은 부산물을 정리해 '플레이북'으로 만들고, 하네스 편집기가 그 경험을 활용해 과제별 패치를 생성한다. 대화형 에이전트, 소프트웨어 엔지니어링, 긴 터미널 과제 등 7개 벤치마크에서 기존 하네스 최적화 기법들을 일관되게 앞섰다.

핵심 요약

• 평균에 맞춘 전역 하네스는 특정 과제에선 최적이 아닐 수 있다는 문제의식에서 출발했다.
• 이미 끝난 최적화 과정의 부산물을 재활용해 구조화된 플레이북으로 만들어, 값비싼 탐색을 다시 안 해도 되게 했다.
• 플레이북을 참조하는 하네스 편집기가 과제별 맞춤 패치를 만들어, 실행 모델이 맞춤 환경에서 돌아가게 한다.
• 인터랙티브 에이전트, 소프트웨어 엔지니어링, 장기 터미널 과제 등 7개 벤치마크에서 기존 기법을 일관되게 능가했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.