How Do Agents Fail on AutoResearch: End-to-End Diagnostic Evaluation on 100 Real-World Frontier Research Tasks

이 논문은 연구 자동화 agent의 실패 지점과 원인이 최종 점수 하나에 가려져 있던 문제를, 실제 논문 기반 과제 100개를 8개 harness-model 조합으로 실행한 trajectory 800개와 코드, 로그 같은 artifact까지 읽는 agent judge로 진단해 풀었다.

이 논문은 한마디로 연구 자동화(AutoResearch) agent의 실패를 과정 단위로 진단하는 benchmark AutoResearchEval과 실패 분류 체계 ARFT(AutoResearch Failure Taxonomy)다. 7개 분야 과제 100개를 CLI(명령줄 인터페이스) harness인 Claude Code, Codex, Gemini CLI 위의 8개 조합으로 실행해 trajectory 800개를 모았고, 코드와 실행 로그와 보고서를 함께 여는 agent judge가 실패를 45개 패턴에 붙였다. 실패 패턴 hit(확정된 실패로 판정된 건) 12,712건 가운데 Grounding & Faithfulness, Scientific Integrity & Alignment, Cognitive Depth & Adaptability 세 원인이 92.1%였고, 자기 검토에서 결함을 찾아 적고도 결론을 그대로 낸 F.4(Uncorrected Self-Awareness)가 분석 800건 중 660건(82.5%)에서 나왔다. 저자들은 이 실패들이 자기 결과를 증거와 대조하고 고치는 메타인지 loop의 부재라는 한 가지 한계로 모인다고 밝혔다.

핵심 요약

• 문제: 기존 연구 agent benchmark는 가상 환경을 쓰거나, 실제 과학을 다루더라도 정답을 기계로 잴 수 있는 설정에 머물렀고 그 설정은 대부분 ML과 소프트웨어 공학 과제였다. 거의 모든 benchmark가 채점 기준을 최종 결과에 둬서, agent가 어느 단계에서 왜 무너졌는지가 점수 하나에 가려졌다. 기존 실패 진단 가운데 전문가 사례 연구는 다른 시스템과 과제로 일반화하기 어렵고, 분류 연구는 작은 표본에서 나왔으며, MAST, TRAIL, Who&When 같은 trace 수준 분석은 대화와 tool 호출 기록을 annotate해서 그 기록 밖에 남은 실패를 놓친다.
• 입력과 출력: 이 논문은 benchmark와 실패 분류 체계를 함께 낸 연구다. agent는 발표된 논문에서 뽑은 선행 연구 요약(Premise)과 미해결 문제(Tension)만 받고, 코드 실행이 되는 sandbox에서 6단계 연구를 혼자 진행해 decision.json과 Peer Review 절을 붙인 report.md를 낸다. 평가 쪽 judge는 이 trajectory 전체를 읽고 단계별 분석 문서 analysis.md와 ARFT 패턴 label을 낸다.
• 방법: 후보 논문 5,878편에서 실행 가능한 과제 100개를 만들었고, 70개는 목표 지표가 없는 개방형 탐구 과제, 30개는 사람이 낸 SOTA(지금까지 나온 최고 성능)나 계산 가능한 지표가 있는 최적화 과제다. ARFT는 전문가 세 명이 trajectory 전체를 읽고 귀납적으로 만든 분류로, 45개 패턴을 실패가 드러난 단계(A에서 F까지와 단계를 넘나드는 X)와 근본 원인 네 가지로 나눈다.
• 구현: 8개 조합은 Claude Code 위의 opus-4.8, claude-sonnet-5, qwen3.7-max, glm-5.2, minimax-m3, deepseek-v4-pro와 Codex 위의 gpt-5-mini, Gemini CLI 위의 gemini-3.5-flash이고, trajectory 800개에 tool 호출 73k번, episode당 평균 92.3 step이 쌓였다. judge는 claude-opus-5를 쓰는 Claude Code agent로, 코드, 실행 로그, 최종 보고서, 데이터 파일을 직접 열어 검사한다. README 기준으로 GitHub 저장소에는 과제 생성 pipeline과 agent-as-a-judge 코드가 있고 rollout 인프라는 빠져 있으며, 원문은 과제, trajectory, annotation을 공개한다고 밝히고 data 주소로 Hugging Face dataset을 적었다.
• 결과: 사람 전문가 label이 있는 trajectory 50개에서 agent judge의 Cohen's κ(평가 일치도 지표)는 패턴 수준 0.75, 원인 분류 수준 0.83이었고, transcript만 한 번 읽는 LLM judge는 0.53과 0.62였다. 분석 800건에서 실패 패턴 hit가 12,712건 나왔고, Grounding & Faithfulness 31.0%, Scientific Integrity & Alignment 33.5%, Cognitive Depth & Adaptability 27.6%를 합친 세 원인이 92.1%, Engineering Robustness가 7.9%였다. 가장 흔한 F.4는 800건 중 660건(82.5%)에서 나왔고, 8개 모델별 hit 합계는 opus-4.8의 1,396건에서 qwen3.7-max의 1,818건까지였다.
• 한계: ARFT는 8개 조합이 이 과제 세트에서 남긴 trajectory에서 나왔고, 저자들은 실패 빈도 통계를 경향을 보여 주는 값으로 한정했다. 모든 run이 고정된 시간과 token 예산 안에서 실행되어 조기 종료와 얕은 검색 같은 패턴은 자원 압박과 관련됐을 수 있고, data contamination(과제의 원래 논문이 모델 학습 데이터에 섞였을 가능성)도 남는다. judge 검증은 50개 표본의 합계 값만 보고됐고, orchestration 수준의 개입으로 메타인지 결함을 메울 수 있는지는 열린 질문으로 남았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.