ARE-bench: Benchmarking Agents'Research Ability in Real-World Researcher Sessions and Workspaces

이 논문은 진행 중인 연구 프로젝트의 실제 세션과 작업 공간에서 에이전트가 이전 결정을 존중하며 일을 이어가는 능력을 재는 벤치마크를 만들었다.

이 논문은 한마디로 연구자의 실제 에이전트 세션과 진행 중인 작업 공간 위에서 연구 에이전트가 현재 요청을 완수하면서 이전 결정과 기존 상태를 존중하는지 평가하는 ARE-bench를 소개한다. 75개 과제가 7개 연구 단계와 33개 요구사항, 1,173개 체크리스트 항목으로 구성되고 각 과제는 실제 사용자 요청에 anchor를 두며 작업 공간은 정리 없이 재생된다. 7개 프론티어 모델 중 최강 모델도 모든 체크리스트를 통과한 과제가 66.2%에 그쳤고 설계와 실행 단계가 모든 모델에서 가장 어려웠다. 배달 계약만 검사하면 약 69%이던 모델들이 이력·작업 공간 요구사항까지 검사하면 28.4%~40.0%로 떨어졌다.

핵심 요약

• ARE-bench은 실제 연구자 세션과 진행 중인 작업 공간 위에서 에이전트의 연구 수행 능력을 평가하는 75과제 벤치마크다.
• 각 과제는 실제 사용자 요청에 anchor를 두고 작업 공간을 정리 없이 경계까지 재생해 이전 작업 흔적을 보존한다.
• 벤치마크는 7개 연구 단계, 33개 요구사항, 150개 하위 요구사항, 1,173개 이진 체크리스트 항목으로 이루어졌다.
• 7개 프론티어 모델 중 최강 모델도 모든 체크리스트 항목을 통과한 과제가 66.2%에 그쳤다.
• 설계와 실행 단계가 모든 모델에서 가장 어려운 단계로 나타났다.
• 배달 계약과 일반 규범만 검사하면 약 69%던 세 모델이 이력과 작업 공간 요구사항까지 검사하면 28.44%에서 40.00%로 떨어졌다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.