AblationBench: Evaluating Automated Planning of Ablations in Empirical AI Research

이 논문은 AI 연구 agent가 ablation 실험을 얼마나 잘 계획하는지 평가하기 어려운 문제를, 저자 관점과 심사자 관점의 두 benchmark task와 정답과 대조하는 LM(언어 모델) judge로 풀었다.

이 논문은 한마디로 AI 연구 agent의 ablation 계획 능력을 재는 benchmark AblationBench를 소개한다. AuthorAblation은 method 절까지 자른 논문 83편에서 저자가 실제로 한 ablation을 맞히게 하고, ReviewerAblation은 ICLR 투고 350편에서 심사자가 요구한 빠진 ablation을 맞히게 한다. 세 모델 다수결 LM judge가 생성 계획을 정답과 대조해 precision, recall, F1을 낸다. 저자들은 가장 좋은 planner도 두 task 평균으로 원래 ablation의 45%를 찾는 데 그쳤고, 전체적으로 CoT(chain-of-thought, 답 전에 풀이 과정을 적게 하는 방식) prompt 한 번이 SWE-agent 기반 agent보다 약간 나았다고 보고했다.

핵심 요약

• 문제: AI co-scientist로 불리는 LM agent가 가설 생성부터 실험 실행까지 여러 연구 단계를 자동화하고 있지만, 이 agent가 낸 과학적 기여를 평가하기는 어렵다. 저자들은 방법의 구성 요소마다 기여를 재는 ablation 실험에서 계획 단계를 핵심으로 본다. 앞선 AbGen은 사람이 정리한 논문 내용에서 계획을 만들고 주로 사람 전문가가 순위를 매겨, 원문 논문에서 바로 하는 완전 자동 ablation 계획은 빈 연구 영역으로 남았다고 밝혔다.
• 입력과 출력: 이 논문은 benchmark 논문이다. AuthorAblation은 method 절까지 자른 논문의 제목, 초록, LaTeX 원문을 받아 ablation 최대 5개를 JSONL(줄마다 JSON 하나를 쓰는 파일 형식)로 내게 하고, 논문 83편과 정답 ablation 230개로 이뤄진다. ReviewerAblation은 전체 투고본을 받아 빠진 ablation 최대 2개를 내게 하고, ICLR 투고 350편의 공식 심사평을 정답으로 쓴다.
• 방법: LM judge가 생성 계획의 ablation과 정답 ablation을 짝지어 precision@k, recall@k, F1@k를 계산한다. judge는 CoT prompt 한 번으로 판정하는 방식(LMJUDGE)과 SWE-agent에서 여러 단계를 밟는 방식(AGENTJUDGE) 두 가지이고, baseline planner도 같은 두 형태인 LM-PLANNER와 AGENT-PLANNER로 만들었다. judge 편향은 세 모델 다수결과 ablation 순서 섞기로 줄였고, AuthorAblation에서는 정답과 계획을 구분하는 tag를 지워 Side A와 Side B로 무작위 배정했다.
• 구현: AuthorAblation은 기존 benchmark 세 곳과 컴퓨터 비전 학회 CVPR, ICCV의 2020에서 2024년 최우수 논문을 합친 203편에서 골랐고, ReviewerAblation은 ICLR 투고 약 22,800건의 심사평을 'ablat' 낱말 검색과 GPT-4o CoT 필터로 걸러 남은 5,960편에서 뽑았다. planner 실험에는 GPT-5.4, o3-mini, Gemini 2.5 Flash, Llama 3.1 405B, GPT-OSS-120B, MiniMax M2.5, Qwen 3.5 122B의 일곱 LM을 썼다. 공식 GitHub 저장소에는 plan, eval, eval-judge 명령을 가진 ablation-bench CLI(명령줄 도구)가 있고, README는 데이터셋 네 개가 Hugging Face에 있다고 안내한다.
• 결과: 두 task 평균인 AblationBench F1@k는 LM-PLANNER와 AGENT-PLANNER 모두 GPT-5.4에서 0.35로 각 방식 안에서 가장 높았고, recall@k는 각각 0.45와 0.44였다. AuthorAblation 시험 논문 가운데 무작위로 고른 15편에서 머신러닝 박사과정 참가자 10명이 한 편씩 골라 F1@5 0.66을 냈고, 같은 논문에서 GPT-5.4는 0.43이었다. judge 평가 세트 JudgeEval에서 LMJUDGE 다수결은 F1 0.79, 사람 판정과의 일치도 kappa 0.62로 AGENTJUDGE 다수결의 F1 0.76, kappa 0.57보다 높았다.
• 한계: 저자들은 평가가 LM judge에 기대고, 그 judge가 높은 분류 성능을 보이지만 개선 여지가 남았다고 밝혔다. 모델이 정답에 없는 의미 있고 실행 가능한 ablation을 내도 정답과 짝이 없는 제안으로 처리되며, 이런 새 제안의 평가는 후속 과제로 남겼다. 이 benchmark가 다루는 단계는 ablation 계획이고, 계획을 코드로 실행해 결과를 모으는 단계는 저자들이 이 논문의 초점 밖으로 두었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.