PAPERBENCHX: Can AI Reproduce Science Across Disciplines?

이 논문은 AI가 이미 알려진 과학을 여러 분야에서 재현할 수 있는지를 93개 논문 재현 과제로 측정했다.

이 논문은 한마디로 최첨단 에이전트들조차 여러 과학 분야의 논문 실험을 완전히 재현하지 못한다는 점을 보였다. PAPERBENCHX는 12개 연구 분야 93개 과제를 10개 도메인 과학 소프트웨어 환경에서 수행한다. 모든 제출물을 깨끗한 환경에서 처음부터 다시 실행하고 재생된 증거만 전문가 검증 기준으로 채점한다. 최고 구성도 90% 문턱을 넘은 과제가 13개뿐이었다.

핵심 요약

• PAPERBENCHX는 12개 연구 분야 93개 논문 재현 과제로 이루어진 벤치마크다.
• 과제는 Ansys HFSS, Meep, PySCF/GPU4PySCF, AutoDock Vina, Habitat 같은 10개 도메인 과학 소프트웨어 환경에서 수행된다.
• 모든 제출물을 깨끗한 환경에서 처음부터 다시 실행하고 에이전트 주장 대신 재생된 증거만 숨겨진 루브릭으로 채점한다.
• 10개 최첨단 에이전트 구성 중 최고인 GPT-6-Astra도 부분 점수 59.08%에 완전 재현율 13.98%에 그쳤다.
• 71개 과제는 어떤 구성도 완전 재현에 성공하지 못했다.
• 모델링과 실행 단계는 평균 62.73%와 61.83%를 받았지만 검증 단계는 42.91%에 그쳐 과학적 검증이 가장 약했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.