PRL-Bench: A Comprehensive Benchmark Evaluating LLMs' Capabilities in Frontier Physics Research

이 논문은 기존 과학 benchmark가 실제 연구의 탐색과 긴 작업 흐름을 재지 못하는 문제를, Physical Review Letters 논문 100편을 풀이 경로가 열린 연구형 물리 과제로 바꾼 benchmark로 풀었다.

이 논문은 한마디로 최신 Physical Review Letters 논문 100편을 이론과 계산 물리의 연구형 과제로 바꿔, LLM이 실제 물리 연구를 끝까지 해낼 수 있는지 재는 benchmark다. 과제는 천체물리, 응집물질, 고에너지, 양자 정보, 통계물리 다섯 분야에 걸치고, 하위 과제마다 미리 정한 답과 rubric으로 GPT-5가 채점한다. 여섯 모델 가운데 가장 높은 Gemini-3.1-Pro도 전체 점수가 44.27로 50에 못 미쳤다. 오류의 가장 큰 비중은 공식과 개념을 잘못 고른 경우였다.

핵심 요약

• 문제: 기존 과학 benchmark는 목표, 풀이 경로, 추론 과정이 미리 정해진 문제로 지식과 추론만 재고, 실제 연구의 탐색과 긴 작업 흐름은 재지 못했다. 물리 전용 benchmark인 TPBench와 PHYSICS도 짧고 경로가 분명한 문제에 기대고, 연구형 평가인 Frontier Science의 물리 문제는 20개뿐이었다.
• 입력과 출력: benchmark 논문이다. 모델은 과학적 동기와 구체적인 연구 목표만 적힌 과제를 받고, 풀이 경로와 필요한 영역 지식은 스스로 정해 하위 과제마다 수치, 해석적 공식, 판단 형태의 답을 낸다. 채점 모델이 미리 정한 답과 rubric(중간 단계 채점 기준)에 맞춰 하위 과제 점수를 더해 0에서 100점으로 낸다.
• 방법: 2025년 8월(135권 7호)부터 2026년 3월(136권 10호)까지 Physical Review Letters에 실린 이론과 계산 중심 논문 100편을 골랐고, 실험 위주이거나 대규모 데이터, 큰 계산 자원, 전용 시뮬레이션 software가 필요한 논문은 뺐다. 영역 전문가 10명 넘게 참여해 논문마다 풀이 경로가 열린 연구형 과제 하나로 바꾸고 교차 검증했으며, 과제는 해석적 유도와 계산 검증 같은 하위 과제로 나누되 한 줄로 이어진 의존 관계를 피해 앞 단계 오류가 뒤로 번지는 일을 줄였다. 대표 과제 예시는 동기, 핵심 과제, 답과 rubric, 자세한 풀이 네 부분으로 이뤄진다.
• 구현: GPT-5.4, Gemini-3.1-Pro, Claude-Opus-4.6, Doubao-Seed-2.0-Pro, Qwen-3.5-Plus, Kimi-K2.5 여섯 모델을 같은 prompt와 tool 설정으로 평가했다. 모델은 code interpreter를 쓸 수 있었고, 원문을 찾아보는 정보 유출을 막으려고 검색 tool은 껐다. 문제마다 모델당 다섯 번 실행해 평균을 냈고 채점은 GPT-5가 LLM-as-judge로 맡았으며, 논문은 데이터를 Hugging Face(AdrianMiao/PRL_Bench)에 공개한다고 적었다.
• 결과: 전체 점수 1위는 Gemini-3.1-Pro의 44.27이었고, Qwen-3.5-Plus 40.05, Doubao-Seed-2.0-Pro 37.83, Claude-Opus-4.6 37.40, GPT-5.4 37.38, Kimi-K2.5 33.89가 뒤를 이어 모든 모델이 50점에 크게 못 미쳤다. 대부분의 모델에서 공식이나 개념 선택 오류가 전체 오류의 약 45에서 55%로 가장 큰 비중이었고(GPT-5.4 0.4697, Gemini-3.1-Pro 0.5079, Doubao-Seed-2.0-Pro 0.5562), Claude-Opus-4.6은 미완성이거나 근거 없는 답이 0.6393으로 가장 많았다. 대부분의 모델은 응집물질, 고에너지, 양자 정보보다 천체물리와 통계물리에서 점수가 낮았다.
• 한계: 저자들은 답을 하나로 정하고 검증할 수 있게 하려고 과제에 실제 연구보다 많은 배경 정보를 주어 열린 탐색의 어려움이 일부 줄었고, 틀린 가설을 반증하는 과정도 과제에 넣지 못했다고 밝혔다. 전문가 교차 검증을 거쳤어도 정답 표기에 오류가 남아 있을 수 있고, 다섯 분야 구분은 대략적이라 여러 분야에 걸친 문제를 다 담지 못한다고 적었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.