FrontierPhysics: Evaluating Agents for End-to-End Physics Research

이 논문은 42명의 물리학자가 자기 연구로 만든 56개 과제로 에이전트의 처음부터 끝까지 물리 연구 능력을 평가하고, 최고 모델도 168회 시도 중 46회만 통과한다는 것을 보였다.

이 논문은 한마디로 물리 연구 전 과정을 에이전트에 시키는 종단 평가 벤치마크 FrontierPhysics를 소개한 연구다. 42명 물리학자가 자기 연구를 바탕으로 182개 제출 중 56개 과제를 만들었고, 이론·계산·실험 아홉 분야를 다룬다. 각 과제는 문헌 조사, 연구 계획, 실험 수행, 논문 작성까지 요구하고 결정적 검증기와 전문가 루브릭으로 채점한다. 22개 모델 26개 구성 가운데 어느 것도 168회 시도 중 46회를 넘기지 못했고, 주된 약점은 물리 지식이 아니라 엄밀하지 않은 추론과 전문가 직관 부족이었다.

핵심 요약

• FrontierPhysics는 42명의 물리학자가 자기 연구를 바탕으로 만든 56개 과제로, 이론·계산·실험 물리의 아홉 분야를 다루는 종단 평가 벤치마크다.
• 각 과제는 에이전트가 문헌을 조사하고 연구 계획을 세우고 연구와 실험을 수행한 뒤 구조화된 결과물과 과학 논문을 내도록 요구한다.
• 평가는 결정적 검증기가 수치 결과를 확인하고, 검토 에이전트가 전문가가 만든 루브릭으로 논문과 과정을 채점하는 둘을 결합한다.
• 182개 제출 중 56개만 통과했고, 과제 하나를 만드는 데 저자들이 원래 연구에 평균 약 270일을 썼다고 보고했다.
• 22개 모델 26개 구성 가운데 어느 구성도 자기 168회 시도 중 46회를 넘는 통과율을 보이지 못했고, 최고인 Claude Opus 5.5는 27.4%였다.
• 사람이 168개 시도 궤적을 직접 분석한 결과, 실패의 주된 원인은 부족한 물리 지식이나 실행 오류가 아니라 48%의 엄밀하지 않은 추론과 34%의 전문가 직관 부족이었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.