Self-Harness: Harnesses That Improve Themselves

LLM 에이전트가 스스로 자신의 harness(프롬프트, 도구, 런타임 메커니즘)를 개선하는 Self-Harness 프레임워크를 제안했다. 약점 마이닝→수정 제안→회귀 테스트의 반복 루프로 모델별 맞춤 harness를 자동 생성한다.

Self-Harness는 LLM 에이전트가 외부 도움 없이 자신의 운영 harness를 스스로 개선하는 새로운 패러다임이다. 실행 트레이스에서 반복되는 실패 패턴을 군집화해 모델별 약점을 식별하고, 이에 대응하는 최소한의 harness 수정을 제안한 뒤 회귀 테스트를 통과한 것만 승인한다. Terminal-Bench-2.0에서 MiniMax M2.5, Qwen3.5-35B-A3B, GLM-5 세 모델 모두에서 유의미한 성능 향상을 보였으며, 특히 held-out 태스크에서 최대 21.4%p 절대 향상을 달성했다.

핵심 요약

• 에이전트가 자신의 harness를 스스로 개선하는 Self-Harness 패러다임 제안 (Weakness Mining → Harness Proposal → Proposal Validation)
• 3개 모델(MiniMax M2.5, Qwen3.5-35B-A3B, GLM-5)에서 held-out pass rate 각각 40.5%→61.9%, 23.8%→38.1%, 42.9%→57.1% 향상
• 모델별로 서로 다른 harness 변경이 생성됨 — generic instruction 추가가 아닌 모델 특화 수정
• regression test 기반 acceptance rule로 overfitting 방지, 수정 내역이 작고 감사 가능(auditable)
• SemaClaw/OpenClaw 등 기존 harness 시스템과 직접적으로 관련된 연구
• 에이전트의 자기개선(Self-Improvement) 연구 라인과 연결되는 의미 있는 진전

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.