An Empirical Study of Harness Design for Coding Agents

코딩 에이전트 하네스를 구성요소별로 해부한 empirical study. 컨텍스트 관리는 예산 빡빡할 때 중요, 계획은 모델 능력에 따라 역할 변화.

UMass/Emory 팀이 하네스를 계획·액션 공간·컨텍스트 관리로 분해해 176개 설정 비교. 컨텍스트 관리는 오버플로우 방지 효과가 대부분, 규칙 기반 elision → LLM 요약 staged 전략이 최고 효율, 계획은 약한 모델의 정확도 지지대/강한 모델의 비용 절감, bash 능숙 모델은 bash-only로 동등 성능+낮은 비용.

핵심 요약

• 176개 설정 4개 모델 비교
• 컨텍스트 관리 효과 대부분 오버플로우 방지
• staged elision→요약 최고 효율
• 계획: 약한 모델=정확도, 강한 모델=비용
• bash-only로 동등 성능+저비용

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.