Are LLMs Ready for Scientific Discovery? A Capability-Oriented Benchmark for AI Scientists

이 논문은 과학 data 분석 benchmark가 주로 code 실행이나 workflow 완료로 LLM을 평가하는 문제를, 여섯 과학 능력과 다섯 분야로 문제를 나누고 오류를 분석 단계별로 분류하는 benchmark(SDABench)로 풀었다.

이 논문은 한마디로 LLM의 과학 data 분석 능력을 과제 유형별로 나눠 재는 benchmark SDABench다. descriptive, exploratory, inferential, predictive, causal, mechanistic 여섯 능력과 생물, 화학, 환경, 지리, 물리 다섯 분야에 걸쳐 실제 data 527문제와 합성 data 6,000문제를 객관식과 서술형으로 만들었다. 15개 LLM을 평가하니 합성 data test에서 GPT-5.4가 서술형 정확도 58.33%로 가장 높았고, 모델들은 Descriptive 과제는 잘 풀었지만 가정 선택, 잠재 과정 modeling, mechanism 추론이 필요한 과제에서 정확도가 크게 떨어졌다. 저자들은 강한 모델일수록 범위와 변수 오류는 줄지만 분석 방법, 변수 관계, 결론 단계의 오류가 남는다고 보고했다.

핵심 요약

• 문제: DataSciBench, KramaBench, ScienceAgentBench 같은 기존 benchmark는 주로 LLM이 분석 code나 pipeline을 만들고 실행해 정답이나 과제별 성공 기준에 닿는지를 본다. 저자들은 이런 평가가 계산 성공을 과학적 타당성으로 착각할 수 있고, 기본 서술에서 틀렸는지 인과 추론에서 틀렸는지를 점수 하나 뒤에 숨긴다고 지적했다. 과학 분석은 서술, 가설 탐색, 통계 추론, 예측, 인과 추정, mechanism 설명처럼 가정과 타당성 기준이 서로 다른 주장을 뒷받침하는 일이다.
• 입력과 출력: 이 논문은 benchmark 논문이다. 문제 하나는 분야, 과제 유형, dataset과 metadata, 질문, 정답으로 이루어지고, 모델은 dataset을 보고 객관식(MCQ)이나 서술형(OEQ) 질문에 답한다. 기본 모델은 zero-shot으로 평가하고, 모든 모델은 reasoning과 answer 두 field를 담은 JSON을 내며, answer만 채점하고 reasoning은 오류 분류에 쓴다.
• 방법: 저자들은 Leek과 Peng의 여섯 질문 framework를 descriptive, exploratory, inferential, predictive, causal, mechanistic 여섯 능력으로 바꾸고, 생물, 화학, 환경, 지리, 물리 다섯 분야에 걸쳐 문제를 만들었다. 합성 data 부분인 SDA-Synth는 GPT-4o가 제안한 과학 시나리오로 변수 사이의 semantic DAG(방향이 있고 순환이 없는 graph)와 mechanism 식을 만들고 noise와 distractor column을 넣어 dataset을 생성한 뒤, 실행 재현, 범위 검사, 전문가 검토를 거친 50개(분야당 10개)를 남겼다. 질문은 Taxonomist, Extractor, Generator, Verifier 네 agent가 template로 만들고, 정답은 template마다 쓴 결정적 계산 절차로 구하며, 객관식 오답 보기(distractor)는 변수나 중간 계산을 바꾸는 네 가지 perturbation으로 만든다.
• 규모와 구현: 실제 data 부분인 SDA-Real은 24개 후보 자료 가운데 고른 KramaBench, BLADE(data 기반 과학 agent benchmark), QRData 같은 seed 자료의 실제 dataset으로 만든 527문제이고, SDA-Synth는 검증 뒤 남은 6,231문제에서 분야와 과제 조합마다 200개씩 뽑은 6,000문제다. 검증에서는 후보 779개를 지우고 template 307개와 표본 2,000문제를 사람이 검토해 324개를 더 걸러 냈으며, SDA-Synth는 60%를 fine-tuning용 train으로, 40%를 test로 나눴다. 평가한 LLM은 GPT-5.4, Claude Sonnet 4.6, Gemini 3.1 Pro 같은 closed-source 모델, DeepSeek V3.2, Qwen 3.5-397B-A17B 같은 open-source 모델, SDA-Synth train으로 LoRA(Low-Rank Adaptation) fine-tuning한 Llama-3.1-8B 두 변형을 합쳐 15개다.
• 결과: SDA-Synth test의 서술형(OEQ) 정확도는 GPT-5.4 58.33%, Gemini 3.1 Pro 56.88%, Claude Sonnet 4.6 55.79%가 가장 높았고, error-type 목표로 fine-tuning한 Llama-3.1-8B는 55.33%로 이 범위에 다가갔다. 과제 유형별로는 Descriptive 과제가 가장 쉬웠고 Inferential, Causal 과제에서 정확도가 떨어졌으며, LLM 평균 서술형 정확도를 분야별로 보면 Environment가 46.9%로 가장 높고 Biology가 가장 낮았으며 Biology의 Predictive는 22.5%였다. 실행 순서상 첫 오류를 표시한 오류 분석에서 정규화한 Function Error 비율은 Predictive 과제에서 37.7%로 가장 높았고, Relationship Error 비율은 Mechanistic 과제에서 32.1%였다.
• 한계: 저자들은 SDA-Synth의 합성 semantic graph가 전문가 검토를 거쳤어도 실제 실험의 confounder와 측정 artifact를 다 담지 못할 수 있고, 객관식 형식은 일부 모델에서 피상적인 pattern matching을 부를 수 있다고 밝혔다. 오류 분류는 실행 중 첫 오류를 표시하는 방식이라 이어서 생긴 오류를 적게 셀 수 있다. 4지선다 MCQ는 우연히 맞힐 확률이 25%라 OEQ와 직접 비교할 수 없고, SDA-Real의 전체 결과는 보충 자료 C로 넘겼다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.