AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery

이 논문은 AI agent가 과학 논문을 얼마나 잘 찾는지 재기 어렵다는 문제를, 논문 하나를 정확히 찾는 Deep Research와 조건에 맞는 논문을 모두 모으는 Wide Research 1,000문제로 이루어진 benchmark로 풀었다.

이 논문은 한마디로 AI agent의 과학 문헌 탐색 능력을 재는 benchmark AutoResearchBench다. full text 단서로 논문 하나를 찾거나 없음을 밝히는 Deep Research 600문제와, 조건을 만족하는 논문 집합을 모으는 Wide Research 400문제로 구성된다. 3 million 편이 넘는 arXiv full text corpus에서 추론과 tool 호출을 번갈아 하는 같은 ReAct agent 설정으로 평가한 LLM 가운데 최고 점수는 Deep Research 정확도 9.39%, Wide Research 집합 겹침 비율 9.31%였다. 저자들은 turn을 늘려도 이득이 작았고 답하기 전에 추론을 길게 하는 mode(THINK)도 일관된 이득이 없었으며, 주된 실패는 복잡한 조건을 검증하고 조각난 근거를 모아 결론을 내는 단계에서 나왔다고 보고했다.

핵심 요약

• 문제: 자율 연구 agent는 기존 지식을 살피고 주장의 근거를 모으려고 맞는 논문을 찾아야 하지만, 결정적 근거는 제목이나 초록보다 방법 세부, ablation 표, 그림 설명, 부록, 인용 관계 속에 있는 경우가 많다. agent들은 GAIA(일반 AI assistant benchmark), BrowseComp 같은 장기 web 검색 benchmark에서 크게 발전했지만, 큰 최신 논문 corpus를 깊이 읽고, 세부 조건을 검증하고, 검색을 언제 끝낼지 정하는 능력은 거의 측정된 적이 없다.
• 입력과 출력: 이 논문은 benchmark 논문이다. agent는 자연어 질의를 받아 full text가 있는 arXiv 논문 3 million 편이 넘는 corpus를 학술 platform DeepXiv의 검색 tool로 찾고 읽은 뒤, Deep Research에서는 조건을 모두 만족하는 논문 하나나 없음을, Wide Research에서는 조건을 만족하는 논문 전체 목록을 낸다. 점수는 Deep Research가 정확히 맞힌 비율(Accuracy), Wide Research가 예측 집합과 정답 집합의 IoU(Intersection over Union, 겹친 정도)다.
• 방법: Deep Research 문제는 인용이 보통 10회에서 100회인 덜 알려진 고품질 computer science(CS) 논문을 우선 골라, full text에서 뽑은 단서를 흐리게 바꾸고 찾아야 할 target paper 하나를 가려내는 데 필요한 단서만 남겨 만들며, 정답이 없는 문제는 핵심 조건 하나를 바꿔 만든다. GPT-5.4가 바꾼 검색어로 정답이 바로 나오거나, Claude 4.6-Sonnet 또는 Gemini-3-Flash agent가 풀거나, 사람이 10분 안에 찾은 Deep 문제는 버렸다. Wide Research는 주제별 후보 논문의 공통 속성으로 질의를 만들고, 빠진 정답을 보충하려고 LLM이 쓴 검색어로 31,734편을 더 찾은 뒤, 세 LLM의 full text 판정과 전문가 표본 검사로 정답 집합을 정했다.
• 규모와 구현: 문제는 1,000개(Deep 600개, Wide 400개)이고 CS 여덟 분야에 걸친다. Deep 문제의 10%는 정답이 없고, Wide 문제의 정답은 합계 3,692편으로 질의당 평균 9.23편이다. 평가는 ReAct agent를 최대 30 turn까지 DeepXiv 검색 tool과 함께 실행하며, README 기준으로 GitHub 저장소(CherYou/AutoResearchBench)에는 batch 추론 code, DeepXiv와 web 검색 tool, Deep과 Wide 채점 script, 복호화 script가 있고, 문제 data는 Hugging Face dataset 저장소에 난독화한 파일로 올라가 있다.
• 결과: 같은 ReAct agent와 DeepXiv 검색 tool로 전체 문제를 평가한 모델 가운데 Deep Research 최고 정확도는 Claude-Opus-4.6의 9.39%, Wide Research 최고 IoU는 Gemini-3.1-Pro-Preview의 9.31%였다. GPT-5.4는 평균 6.1 turn으로 7.44%를 냈고, turn을 더 많이 쓴 DeepSeek-V3.2는 28.8 turn으로 4.21%에 머물렀다. 검색 tool 비교에 쓴 네 모델에서 DeepXiv 대신 open-web 검색을 쓰면 Deep 정확도 평균이 5.42%에서 3.97%로 떨어졌다.
• 한계: 저자들은 benchmark가 고정된 corpus의 computer science 논문과 text 기반 검색에 맞춰져 있어, 다른 과학 분야, multimodal 근거, 계속 바뀌는 문헌은 다음 과제로 남긴다고 밝혔다. 큰 corpus의 경계에서는 Wide 정답 집합을 빠짐없이 만들기가 여전히 어려울 수 있다고 적었고, 상위 세 모델이 낸 정답 밖 예측을 표본으로 사람이 검토하니 96%가 질의 조건을 하나 이상 어겼다고 보고했다. 비용이 큰 end-to-end 연구 system 세 개는 무작위로 뽑은 50문제로 평가했고, Deep Research에서 GPT Deep Research가 11/50, AI-studio Gemini-3.1-Pro가 7/50, Alphaxiv가 0/50이었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.