SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones?

이 논문은 AI scientist가 실행 전에 결함 있는 연구 제안을 걸러 내는지 재기 어려운 문제를, ICLR(ML 학회) 심사의 soundness(방법론적 타당성) 점수로 label을 붙인 연구 제안 1,099개 benchmark로 풀었다.

이 논문은 한마디로 LLM이 연구 제안의 방법론적 타당성을 실행 전에 판단하는 능력을 재는 benchmark다. ICLR 제출 논문에서 결과를 지운 제안 1,099개를 뽑고, 심사위원 soundness 점수로 high와 low label을 붙였으며, 더 쪼갤 수 없는 주장(atomic claim) 단위로 원문과 대조해 추출 품질을 점검했다. 12개 frontier 모델은 표준 prompt에서 low 제안의 평균 74.0%를 high로 판정해 낙관 편향을 보였다. 시험한 엄격한 prompt로 바꾸자 이 평균 비율은 19.9%로 낮아졌지만, high 제안을 맞힌 평균 비율도 91.8%에서 36.1%로 떨어졌다.

핵심 요약

• 문제: 최근 AI scientist framework는 가설 생성부터 실험 실행까지 자동으로 할 수 있지만, 실행 전에 연구 제안의 방법론적 타당성(soundness)을 판단해 걸러 내는 능력을 직접 재는 benchmark는 드물다. MLE-Bench, PaperBench 같은 기존 benchmark는 주로 실행 결과를 재고, 일부 아이디어 평가 benchmark는 novelty와 영향력을 잰다. 저자들은 이 걸러 내기 단계가 약하면 agent가 결함 있는 가설을 자동으로 실행해 계산 자원과 시간을 낭비할 위험이 있다고 본다.
• 입력과 출력: 이 논문은 benchmark 논문이다. 평가 모델은 실험 결과를 지운 연구 제안(가설과 실험 설계)을 받아 high 또는 low soundness 판정, 1에서 5까지의 confidence, 단계별 근거를 JSON으로 낸다. 정답 label은 ICLR 심사위원의 soundness 하위 점수에서 왔고, 평균 3 이상은 high, 2 이하는 low이며 중간 점수는 뺐다.
• 방법: 구축 pipeline은 ICLR 2022년부터 2026년까지의 제출 논문에서 desk reject(심사 전 반려)를 빼고, 심사위원 confidence 평균이 3 이상이며 정규화한 soundness 점수의 표준편차가 0.15 미만인 논문만 남긴다. Gemini 2.5 Pro가 PDF에서 초록, 관련 연구, 위험 요인, 가설, 실험 설계를 거의 원문 그대로 뽑고 실험 결과, 직접적인 결과 주장, 채택 단서는 지운다. 뽑은 제안은 atomic claim으로 나눠 BM25(키워드 기반 검색 순위 함수)로 찾은 원문 구절과 대조하고 지지 비율이 threshold 0.7 이상인 후보를 남기며, 저자들의 현재 후보 pool에서는 66.93%가 이 검사를 통과했다.
• 구현: 최종 benchmark는 35,209편이 넘는 ICLR 첫 제출 논문과 심사평 137,940건을 처리해 골라낸 16개 ML 분야의 제안 1,099개(low 458개, high 641개)이고, 원문 첫 쪽은 이 dataset을 Hugging Face 주소로 안내한다. 구축 단계의 atomic claim 분해는 GPT-5.4, 대조 검증은 Gemini-2.5-Flash가 맡았다. 평가한 12개 모델 가운데 비공개 모델은 provider API로, 공개 모델은 NVIDIA H200 2장에서 vLLM(LLM serving library)으로 실행했고, 따로 적은 경우를 빼면 모든 모델에 temperature 0.2와 max_tokens 8192를 썼다.
• 결과: 표준 prompt에서 12개 모델은 low 제안을 평균 74.0% 비율로 high로 판정했고, 이 비율이 가장 높은 두 모델인 LLaMA-3.3-70B와 GPT-4o는 98.0%와 94.5%였다. 기본값을 low로 두라는 엄격한 prompt로 바꾸면 이 평균 비율이 74.0%에서 19.9%로 줄었지만 high 제안을 맞힌 평균 비율(high recall)도 91.8%에서 36.1%로 떨어져, 평균 Macro F1(두 class F1의 단순 평균)이 54.9에서 49.3으로 내려갔다. 학습 데이터 cutoff가 ICLR 2026 제출 기간보다 앞선 모델들로 ICLR 2026 제안만 평가해도 low를 high로 본 평균 비율은 77.47%로, 같은 모델들의 전체 자료 결과 73.88%와 비슷했다.
• 한계: 저자들은 정답 label이 전체 논문과 결과를 본 심사위원의 soundness 점수라서, 결과를 가린 제안만으로 판정하는 과제에는 불완전한 대리 지표라고 밝혔다. 평가 범위는 ICLR의 ML 연구로 한정되고, 원본이 공개 자료라 학습 데이터 오염을 완전히 통제할 수 없어 ICLR 2026 분할과 식별 문구 제거 분석으로 이 우려를 줄였다. 사람 검수는 제안 60개를 본 예비 검수이고, 시험한 prompt는 표준과 엄격 두 가지다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.