AI scientists produce results without reasoning scientifically

이 논문은 LLM 과학 agent가 과학적으로 추론하는지를 8개 분야 환경과 25,000회 넘는 agent 실행으로 따져, base model이 성능과 행동을 정하고 agent가 모은 증거를 이후 판단에 반영하는 단계가 자주 빠진다는 것을 보였다.

이 논문은 한마디로 LLM 기반 과학 agent의 추론 과정을 재는 평가 연구다. 저자들은 모델 3개와 scaffold(base model을 감싸 prompt, tool 호출, 반복 실행을 맡는 구조) 2개를 8개 분야 환경에서 실행하고 성공률을 base model 몫과 scaffold 몫으로 나눴다. 추론 능력이 설명된 분산의 41.4%를, scaffold가 1.5%를 차지했다. trace(한 번의 trial에서 쌓인 대화 기록)의 68%에서 모은 증거가 이후 판단에서 빠졌고, 반박에 따른 믿음 수정은 26%에서만 나왔다.

핵심 요약

• 문제: LLM 기반 과학 agent(AI scientist)가 연구를 스스로 맡는 사례가 늘었지만, 기존 benchmark는 주로 질문에 답했는지, workflow를 끝냈는지 같은 과제 완료를 채점한다. 이런 점수로는 agent가 결과에 어떻게 이르렀는지, 새 문제에서 어떻게 행동할지 알 수 없어서 저자들은 추론 과정 자체를 잰다.
• 입력과 출력: 평가 연구(empirical study)다. 입력은 8개 과학 분야의 과제로, workflow 과제(분자 시뮬레이션, 흡착 표면 구성, ML 기반 물성 예측, 원자힘현미경 실험), 전략 과제(역합성 계획), 가설 검증 과제(분광 구조 해석, 무기 정성 분석, 회로 추론)가 들어간다. 출력은 25,000회 넘는 agent 실행의 점수, 진단 문항 점수, 추론 trace를 노드와 edge로 표시한 그래프다.
• 방법: agent를 base model policy와 scaffold policy가 합쳐진 language decision process(관측과 행동을 글로 나타낸 부분 관측 Markov 결정 과정)로 보고, 모델 3개(GPT-4o, Claude Sonnet 4.5, GPT-OSS-120B)와 scaffold 2개(ReAct, 구조화된 tool calling)를 같은 환경과 tool에서 교차해 실행한다. 분야별 지식 문항과 추론 문항에 IRT(문항 반응 이론)를 맞춰 능력을 추정하고, Bayesian 모델 M1에서 M8 가운데 PSIS-LOO(leave-one-out 교차검증 근사)로 고른 M7로 성공률의 분산을 나눈다. trace의 단계마다 가설, 증거, 시험, 판단, 갱신, 확정을 표시한 그래프에서 productive motif(규율 있는 탐구 패턴)와 reasoning breakdown(추론이 무너지는 패턴)이 나온 비율을 센다.
• 구현: 저자들은 환경과 agent를 HTTP(웹 요청 규약) 인터페이스로 나눈 평가 framework Corral을 만들었고, 환경은 LAMMPS 시뮬레이션, 실제로 연결된 원자힘현미경, 자체 열역학 평형 엔진, 수작업으로 모은 스펙트럼을 바탕으로 15개 넘는 환경 scope와 90개 넘는 tool을 갖춘다. 논문은 과제, 실행 보고서, trace, 문항 데이터를 Hugging Face collection에 공개했다고 적었다. 공식 저장소 README는 corral CLI(명령줄 도구, run과 bench 명령)와 Python API, afm, corral_md, resistor_network, retrosynthesis, spectra_elucidation, wetlab 환경과 가벼운 수학 연산용 samplemath 환경을 안내하고, 논문에서 쓴 ReAct와 tool calling 외에 Reflexion, LLMPlanner, AI Scientist 같은 agent도 함께 싣는다.
• 결과: 저자들이 고른 M7에서 추론 능력은 설명된 분산의 41.4%, 환경과 scope는 30.1%를 차지했고 scaffold는 1.5%, tool 설명 상세도는 0.1%였다. trace의 68%에서 모은 증거가 이후 판단에서 빠졌고, 시험 없는 주장은 53%, 반박에 따른 믿음 수정은 26%에서 나왔다. 분광 구조 해석, 무기 정성 분석, 역합성 계획에서는 초반 성공 단계를 주입해도 성능은 그대로였고, 거의 끝난 성공 trajectory를 줄 때만 올랐다.
• 한계: 저자들은 과제마다 독립 episode로 실행하고 ReAct와 tool calling 두 가지 단순한 scaffold를 썼으며, plan-then-execute, 계층형 planner, multi-agent 같은 고급 orchestration은 평가 범위 밖이라고 밝혔다. 모델은 3개이고 주 평가는 과제당 LLM 호출 20에서 40회, temperature 0.0으로 고정했으며, log-probability 분석은 GPT-OSS-120B에만 했다. GPT-OSS-120B는 trace의 41%에서 형식이 깨진 응답을 냈고, 저자들은 constrained decoding(출력 형식을 강제하는 decoding) 같은 보정 없이 그대로 쟀다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.