SR-Scientist: Scientific Equation Discovery With Agentic AI

이 논문은 기존 symbolic regression(데이터에서 수식을 찾는 일)이 대개 LLM을 고정 pipeline 안의 equation proposer(수식 후보를 내는 역할)로 묶어 두는 한계를, 데이터 분석 tool과 수식 평가 tool로 스스로 실험하며 수식을 고치는 agent와 RL 학습으로 풀었다.

이 논문은 한마디로 LLM agent가 code interpreter로 데이터를 분석하고 수식을 코드로 짜서 평가받으며 과학 수식을 찾는 framework다. agent는 iteration마다 최대 25 turn 동안 분석과 수정을 반복하고, experience buffer(탐색한 수식과 오차를 쌓아 둔 기록)에서 이전 상위 수식을 받아 이어 간다. LLM-SRBench(LLM 수식 발견 benchmark)의 합성 문제 세트인 LSR-Synth 129문제에서 GPT-OSS-120B를 쓴 버전의 Acc0.01(가장 나쁜 5%를 뺀 test 점의 상대 오차가 모두 1% 안에 드는 문제 비율)은 63.57%로 baseline들보다 높았다. GRPO(Group Relative Policy Optimization, 한 문제에서 뽑은 여러 출력의 reward를 서로 비교하는 RL 알고리즘)로 학습한 Qwen3-Coder-30B는 32.30%에서 40.92%로 올랐다.

핵심 요약

• 문제: 기존 LLM 기반 symbolic regression은 대개 LLM을 genetic programming 같은 탐색 알고리즘 안의 equation proposer 역할에 한정한다. 이런 hybrid 방법에는 관측 데이터를 tool로 직접 분석하는 단계가 빠져 있고 LLM의 행동도 흔히 고정돼 있다. 대부분의 연구는 추론에 LLM을 쓰는 데 집중해, RL로 모델 능력을 키우는 방향은 공백으로 남아 있다.
• 입력과 출력: 이 논문은 수식 발견 agent framework를 구현하고 실험한 논문이다. 입력은 한 과학 시나리오의 관측 데이터(입력 변수와 출력값)이고, 출력은 상수 placeholder를 가진 Python 함수 형태의 수식 가운데 관측 데이터에서 가장 잘 맞은 수식이다. 평가는 LLM이 외운 수식을 쓰기 어렵도록 알려진 항과 새 항을 섞어 만든 LSR-Synth 129문제(화학 36, 생물 24, 물리 44, 재료과학 25)로 한다.
• 방법: code interpreter를 감싼 tool 두 개, 곧 데이터를 자유롭게 분석하는 data analyzer와, equation skeleton(상수를 placeholder로 둔 수식)을 받아 BFGS(Broyden-Fletcher-Goldfarb-Shanno, 수치 최적화 알고리즘)로 상수를 맞추고 오차를 알려 주는 equation evaluator를 agent에게 준다. agent는 iteration마다 최대 25 turn 동안 데이터 분석과 수식 수정을 반복하고(실험에서는 총 40 iteration), 탐색한 수식과 MAPE(평균 절대 백분율 오차)를 experience buffer에 쌓아 다음 iteration 시작 때 상위 K개를 다시 받는다. 학습은 1024개 합성 문제로 GRPO RL을 하며, 찾은 최고 수식의 MAPE를 log-linear reward로 바꿔 준다.
• 구현: 주 추론 backbone은 Qwen3-Coder-480B-A35B, GLM-4.5-Air, GPT-OSS-120B, GPT-OSS-20B, Qwen3-Coder-30B-A3B 다섯 개이고, 이 가운데 RL 학습은 계산 비용과 학습 인프라 제약 때문에 Qwen3-Coder-30B에만 H200 GPU 32개와 verl framework로 60 step 했다. 부록에서는 Qwen3-8B, Qwen3-14B, Qwen3-32B에도 같은 학습 설정으로 RL을 했다. GitHub 저장소 README는 추론 framework와 RL 학습 framework를 공개하고, 학습된 SR-Scientist-30B 모델과 학습 데이터셋은 Hugging Face 링크로 내며, 코드 실행 sandbox로 SandboxFusion을 따로 설치하게 한다.
• 결과: 129문제 전체의 Acc0.01에서 GPT-OSS-120B를 쓴 SR-Scientist가 63.57%로 표 1의 모든 방법과 backbone 조합 가운데 가장 높았고, 같은 backbone으로 LLM이 수식을 제안하는 baseline인 LLM-SR은 28.16%였다. 저자들은 주 backbone 다섯 개 가운데 네 개에서 baseline보다 절대 6%에서 35% 높았다고 보고했다. RL 학습 뒤 Qwen3-Coder-30B의 Acc0.01은 32.30%에서 40.92%로 올랐다.
• 한계: 저자들은 주 실험을 text 전용 모델로만 해서 그래프를 보는 분석은 다음 과제로 남겼고, 잡음이 있는 데이터에서는 SR-Scientist가 가장 나으면서도 성능이 크게 떨어진다고 밝혔다. agent는 상위 수식만 받기 때문에 예전에 성적이 나빴던 수식을 다시 탐색할 수 있다. 부록의 Qwen3-8B와 Qwen3-14B backbone에서는 RL 전 SR-Scientist가 LLM-SR보다 낮았고, 저자들은 이를 모델 자체 능력이 중요하다는 근거로 들었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.