Autonomous Science Bench: Evaluating AI Agents for Autonomous Scientific Discovery

이 논문은 자율과학 에이전트의 예산 제한 실험 선택 능력을 공개 실험에 기반한 6개의 design-build-test-learn 캠페인으로 평가하는 벤치마크를 제안했다.

이 논문은 한마디로 생물·화학·소재의 공개 실험에 뿌리내린 예산 제한 캠페인 6개로 자율과학 에이전트를 평가하는 Autonomous Science Bench를 소개한다. 에이전트는 설계 묶음을 선택하고 실험 서비스에서 측정값을 받아 다음 실험을 계획한 뒤 예측 모델을 제출한다. 8개 에이전트-모델 구성 144 시험 파일럿에서 최고 구성은 67%만 성공했고 가장 어려운 캠페인은 24회 중 3회만 풀렸다. 예산은 후보 풀의 최대 11%만 덮게 설계되어 균등 탐사만으로는 통과할 수 없다.

핵심 요약

• Autonomous Science Bench는 생물·화학·소재의 공개 실험에 기반한 예산제 design-build-test-learn 캠페인 6개로 구성된 자율과학 벤치마크다.
• 에이전트가 설계 묶음을 선택하고 측정값을 받아 다음 실험을 안내한 뒤 예측 모델을 내는 능동 실험 루프를 평가한다.
• 8개 구성 144 시험 파일럿에서 최고 구성은 67% 성공, 가장 어려운 캠페인은 24회 중 3회만 해결됐다.
• 예산은 후보 풀의 최대 11%만 덮하도록 설계되어 균등 탐사만으로는 통과할 수 없다.
• Opus 5.5 in Claude Code가 67%로 최고였고 GPT-5.6 Terra와 GPT-5.6 Luna가 44%와 28%로 뒤를 이었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.