Science Prediction Universe
- 발행일
- 출처
- arXiv
- 논문 번호
- 1459
- 분야
- Research Agents
- arXiv 번호
- 2611.15049
이 논문은 AI가 실험 결과를 사람보다 잘 예측하는지를 검증하는 문제를 숨겨진 실측 결과로 채점하는 벤치마크로 풀었다.
이 논문은 한마디로 공개 논문 100개 과제와 미공개 실험 16개 과제로 에이전트가 습식 실험 결과의 순위를 예측하게 하는 Science Prediction Universe 벤치마크다. 에이전트는 실험 정의만 받고 측정 결과와 격리된 채점기가 순위 상관으로 점수를 매긴다. 12개 프론티어 모델의 13개 구성을 평가했는데 최고 task-adjusted 평균도 0.478에 그쳤다. 궤적 분석은 병목이 과학적 판단에 있음을 보여준다.
핵심 요약
- 연구진은 화학, 재료과학, 생물학, 의학의 숨겨진 실험 결과로 에이전트를 평가하는 Science Prediction Universe 벤치마크를 공개했다.
- 공개 100 과제는 최근 논문 85편에서, 비공개 16 과제는 미출판 습식 실험에서 만들었고 측정값은 격리된 채점기만 가진다.
- 에이전트는 실험 정의만 받아 후보를 측정 결과 순위로 배열하며 8시간 동안 자유롭게 계산하고 검색할 수 있다.
- 공개 벤치마크에서 구성들은 두 계층으로 갈렸고 task-adjusted 상관은 최저 0.227에서 최고 0.478이었다.
- 계산을 늘려도 예측이 나아지지 않았고 점수는 실행 시간이나 도구 호출, GPU 사용과 검출 가능한 상관이 없었다.
- 병목은 과학적 판단이지 도구 실행이 아니어서 에이전트들은 서로 0.52로 동의하는데 실측과는 0.33만 일치했다.
논문 링크
외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.