Agent Benchmarks Stop Ranking Before They Run Out of Tasks

이 논문은 에이전트 벤치마크의 포화 문제가 과제가 쉬워져서가 아니라 합격/불합격 한 비트 채점에 있다는 것을 보이고, 참조점 위에 여유가 있는 점수 설계로 해결한다.

이 논문은 한마디로 에이전트 벤치마크가 상위 모델을 구별하지 못하는 이유가 과제가 아니라 채점 방식에 있음을 보인 연구다. 저자들은 공개된 실행 기록 8종을 다시 채점하며 합격/불합격 한 비트가 상위권 이웃 모델을 구별하기에 너무 굵고 참조점에서 멈춘다는 두 실패를 측정했다. 더 높은 합격선은 문제를 옮길 뿐이고, 참조점 위까지 점수를 주는 방식이 구별력을 되살린다. 저자들은 날짜가 붙은 닻을 가진 잘린 로그 비율 점수와 비용을 별도 축으로 보고하는 설계를 제안했다.

핵심 요약

• SWE-bench Verified에서 강화된 테스트는 중간 에이전트의 통과 패치 17.7%를 거부했고, 이 오차는 이웃 모델 간 격차보다 커서 이웃 순위가 사실상 우연에 가깝다는 것을 보였다.
• ALE-Bench 상위 10개는 대회 점수로는 3개 집단으로 갈리지만 중간 인간 기준 합격/불합격으로 채점하면 5개 모델이 40문제 중 39문제를 통과해 한 집단이 되었고, 기준을 이긴 실행은 47.8%였다.
• Terminal-Bench 재실험에서 합격/불합격으로 동률인 모델들이 실제 성능에서 크게 갈렸고, portfolio-optimization에서 opus의 중앙 속도향상은 10.9×, 나머지는 1.3×였다.
• 같은 과제에서 합격선을 올리는 것은 문제를 옮길 뿐이었고, 대회 우승자 기준으로 맞춘 합격선은 이전 모델 89%에게 모든 과제에서 0점을 주었다.
• 저자들은 양의 값에 대해 기준선 0과 참조점 1을 가지고 세 참조 격차에서 자르는 로그 비율 점수와, 비용을 별도 축으로 보고하는 평가 설계를 제안했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.