AstaBench: Rigorous Benchmarking of AI Agents with a Scientific Research Suite

이 논문은 과학 연구 agent를 공정하게 비교하기 어려운 문제를, 날짜를 고정한 표준 검색 도구와 비용을 함께 보고하는 leaderboard를 갖춘 11개 benchmark suite AstaBench로 풀었다.

이 논문은 한마디로 문헌 검색부터 end-to-end 연구까지 2400개가 넘는 문항으로 과학 연구 agent를 재는 benchmark suite AstaBench를 내놓은 논문이다. 날짜 cutoff를 둔 표준 검색 도구와 Jupyter notebook으로 도구 조건을 맞추고, 모델 가격을 고정한 snapshot으로 비용을 계산해 점수와 함께 보고한다. 저자들은 22개 agent class의 agent 57개를 평가했고, 전체 benchmark를 푸는 agent 가운데 가장 높은 Asta v0도 53.0%에 머물러 과학 연구 보조 문제를 푸는 데 아직 멀었다고 결론지었다.

핵심 요약

• 문제: 기존 agent benchmark suite에는 통제된 비교에 필요한 표준 환경과 도구가 없어, 높은 점수가 더 나은 AI 능력에서 왔는지 더 좋은 정보원에서 왔는지 가리기 어렵다. 저자들은 도구 사용 차이를 보정한 agent benchmark를 찾지 못했고 비용을 재는 곳도 HAL(Holistic Agent Leaderboard) 등 소수라고 짚었으며, 일반 agent를 붙이기 어려운 비표준 interface, 실제 제품 사용에 근거한 과제와 폭넓은 baseline의 부족도 문제로 들었다.
• 입력과 출력: 이 논문은 과학 연구 보조 능력을 재는 benchmark suite AstaBench와 실행 환경, 평가 toolkit, agent 모음을 내놓은 benchmark 논문으로, 2400개가 넘는 문항이 문헌 이해, 코드와 실행, 데이터 분석, end-to-end 발견 네 범주의 11개 benchmark로 나뉜다. agent는 검색 질의, 장문 질문, 저장소 실행 지시, dataset과 발견 목표, 연구 과제 같은 입력을 받아 논문 목록, 인용 달린 보고서, 문헌 비교 표, 실행 결과, 가설, code가 딸린 보고서를 낸다. 채점은 rubric 기반 LLM-as-judge나 프로그램 채점으로 하고, leaderboard는 점수와 함께 비용을 기록한다.
• 방법: Asta Environment는 날짜 cutoff 이전 논문만 돌려주는 검색 도구 Asta Scientific Corpus와 상태를 유지하는 Jupyter 계산 notebook을 표준 도구로 주고, 검색 도구는 MCP(Model Context Protocol)로 snippet_search, get_paper 등을 제공한다. agent-eval toolkit은 Inspect가 기록한 모델 사용량을 litellm cost map(모델별 가격 목록)의 고정 snapshot으로 달러 비용으로 바꿔, API 가격이 바뀌어도 비용을 비교할 수 있게 한다. 결과는 agent마다 openness(공개 정도, 4단계)와 tooling(standard, custom interface, fully custom)을 붙여 보고한다.
• 구현: agent-baselines 모음에는 과학 연구용으로 최적화한 Asta agent 9종(논문 검색 Paper Finder, 장문 질의응답 Scholar QA, 문헌 비교 표 생성 Table Synthesis, 저장소 code 실행 Code, 데이터 분석 DataVoyager, end-to-end 연구 Panda와 CodeScientist, 과제 종류를 알아보고 sub-agent에 넘기는 orchestrator Asta v0 등)과 ReAct, Smolagents Coder, 상용 deep research 시스템 같은 baseline이 들어 있다. 저자들은 22개 agent class의 agent 57개를 평가했다. README에 따르면 GitHub 저장소의 Inspect 기반 명령(astabench eval, inspect eval, astabench score)으로 전체 suite와 단일 과제를 실행하고 점수와 비용을 집계하며, dataset은 Hugging Face의 gated dataset으로 받고, 문헌 도구용 ASTA_TOOL_KEY와 채점용 OpenAI, Anthropic, Google API key가 필요하다.
• 결과: 전체 benchmark를 푸는 agent 가운데 Asta v0가 macro 평균 53.0%로 가장 높았고 ReAct(gpt-5)는 44.0%였으며, open-weight 모델을 쓴 최고 agent(Smolagents Coder, Llama-4-Scout)는 11.1%였다. ScholarQA-CS2(장문 과학 질의응답)에서는 Asta Scholar QA, Elicit, SciSpace Deep Review가 약 85% 이상을 냈고, SUPER-Expert(연구 저장소 설정과 실행)에서 25%를 넘긴 agent는 ReAct(gpt-5, 41.1점)를 포함한 둘뿐이었으며, DiscoveryBench(데이터 기반 가설 발견) 최고점은 ReAct(o3)의 33.7점이었다. E2E-Bench(end-to-end 연구 과제) 단계 완료 점수는 Asta Panda(claude-sonnet-4)의 70.5점이 가장 높았지만, Table 20의 세 agent에서 모든 단계를 끝낸 비율은 최대 5%였다.
• 한계: PaperFindingBench, ScholarQA-CS2, DiscoveryBench, E2E-Bench 등 여러 benchmark가 rubric 기반 LLM-as-judge 채점에 기대고, ScholarQA-CS2 rubric 항목은 평가 대상 시스템들의 답에서 뽑아서, rubric 작성에서 한 시스템씩 뺀 실험에서는 다섯 시스템 가운데 셋의 answer coverage가 평균 2.5점 떨어졌다. E2E-Bench 문제는 시스템끼리 통제해 비교하려고 자세히 적어 두어 ideation과 planning은 약하게만 시험한다. 과제 구성은 컴퓨터 과학(CS) 쪽에 치우쳐 있고, Asta Panda와 Asta CodeScientist는 소스 코드 통합 전이라 캐시된 결과로 채점했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.