Harness-G: A Graph-Structured Harness for Search Agents

RL 검색 에이전트의 검색 인터페이스를 그래프 기반 유한 액션으로 재설계. 검색 동등성 붕괴 문제 해결.

이 논문은 한마디로 검색 에이전트가 자꾸 비슷한 검색만 반복하는 문제를 찾아내고, 검색 방식 자체를 바꿔서 해결했다. 기존 Search-R1 같은 에이전트는 자연어 쿼리를 막 만드는데, 실제로 가져오는 정보는 점점 같아진다(retrieval-equivalence collapse). Harness-G는 문서를 그래프로 구성하고, 에이전트가 '이 문장을 증거로 채택' 또는 '이 엔티티를 조회' 같은 유한한 액션만 선택하게 만든다. 6개 QA 벤치마크에서 Graph-R1 대비 1.5B 모델 +10.74점, 3B 모델 +3.98점 향상됐다.

핵심 요약

• '검색 동등성 붕괴(retrieval-equivalence collapse)' 현상을 발견했다. 훈련이 진행될수록 다른 쿼리가 같은 정보만 가져오게 된다.
• 자유 형식 쿼리 생성을 그래프 기반 유한 액션 선택(Select/Lookup/Answer)으로 대체했다.
• Structured Non-myopic Credit(SNC)으로 같은 상태의 대안 액션들과 비교해서 크레딧을 할당한다.
• Graph-R1 대비 F1 평균 +10.74점(1.5B), +3.98점(3B). 6개 QA 벤치마크에서 최고 성능.
• 그래프 구축 비용 $0(프로그램 방식)으로, LLM 기반 그래프 구축($2.81~$4.14)보다 훨씬 저렴하다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.