EvoMaster: A Foundational Evolving Agent Framework for Agentic Science at Scale

이 논문은 과학 분야마다 agent 인프라를 다시 만들고 긴 연구에서 근거와 실패 경험을 잃는 문제를, Execution, Exploration, Evolution의 중첩 loop 세 개를 갖춘 공용 agent framework로 풀었다.

이 논문은 한마디로 분야마다 따로 만들던 과학 agent 인프라를 하나의 framework로 모으고, 실험에서 얻은 근거를 다음 실험과 다음 연구로 넘기게 만든 EvoMaster를 제안하고 평가한 framework 논문이다. EvoMaster는 run 안의 Execution, study 안의 Exploration, study 사이의 Evolution이라는 중첩 loop 세 개로 관찰, 선택한 실험 근거, 정리한 경험을 다음 결정에 넘긴다. 모든 agent가 GPT-5.4를 쓴 10개 benchmark 비교에서 EvoMaster의 평균 점수는 58.02%로 가장 강한 비교 agent인 Codex(40.29%)보다 높았고, benchmark별 평균 LLM 추론 비용은 $9.56으로 Codex의 $14.85보다 35.6% 낮았다. 다만 비용 중앙값은 EvoMaster가 $4.57로 Codex의 $3.00보다 높았고, 실제 실험 장비를 직접 다루는 일은 향후 과제로 남았다.

핵심 요약

• 문제: 과학 agent를 분야마다 만들 때 모델 접속, tool orchestration, context 관리, trajectory 기록, 오류 복구를 매번 다시 만들어 분야 사이 재사용이 제한된다(저자들은 loop fragmentation이라 부른다). 또 근거, 기각된 가설, 실패 경험이 한 run이나 한 연구 캠페인 안에 머물고(loop discontinuity), 필터 없이 쌓은 memory는 쓸모 있는 경험과 함께 잡음도 남길 수 있다.
• 입력과 출력: 연구 질문, 바꿀 수 있는 연구 산출물의 범위, 실행할 tool과 환경, 외부 평가 protocol, 예산과 중단 조건으로 이뤄진 과학 문제를 받는다. 코드, model checkpoint, 수학적 구성, 데이터 분석 보고서 같은 산출물과 최종 답을 내고, run마다 설정, trajectory, workspace 산출물을 실험 노트처럼 남긴다. 논문 종류는 framework 논문이고, 이 framework 위에 만든 agent를 10개 benchmark에서 시험한 결과를 함께 실었다.
• 방법: Execution loop는 한 run 안에서 추론(Reason), 행동(Act), 관찰(Observe)을 되풀이하고, Exploration loop는 한 study 안에서 가설을 세워 실행한 뒤 외부 evaluator 근거로 후보를 남기거나 버리거나 고친다. Evolution loop는 끝난 study 기록을 다시 쓸 수 있는 지식, skill, prompt, memory, workflow 구성 요소로 정리하고, Admit 정책(자동 근거 규칙, evaluator gate, 사람의 결정 가운데 하나)이 이를 다음 study용 capability store에 넣을지 정한다. context가 차면 system 메시지와 최근 turn은 그대로 두고 오래된 대화를 요약하되, workspace 파일, evaluator 출력, tool 기록은 이 요약 밖에 둬서 원래대로 보존한다.
• 구현: Playground, Exp, Agent의 세 software 층과 registry로 model, tool, skill, agent를 따로 바꿀 수 있게 했고, MCP(Model Context Protocol) server도 같은 tool 인터페이스로 붙인다. 실험에서는 HLE(Humanity's Last Exam)와 Frontier Science에 X-Master와 X-Master 2.0, MLE-Bench Lite(MLE-Bench의 Kaggle 대회 가운데 난도가 낮은 22개)에 ML-Master 2.0, BrowseComp와 BrowseComp-ZH(중국어 웹 검색 benchmark)에 Browse-Master, PRL-Bench(Physical Review Letters 논문으로 만든 물리 연구 benchmark)에 PhysMaster, 나머지 4개 benchmark에 minimal agent를 EvoMaster 위에서 돌렸다. 공식 저장소 README 기준으로 GitHub에는 framework 코드(evomaster/), agent 예제(playground/), 설정(configs/)이 있고, SciMaster agent 가운데 ML-Master 2.0, ML-Master, X-Master, Browse-Master는 Available, PhysMaster와 EmboMaster는 Coming Soon으로 표시돼 있다.
• 결과: 모든 agent가 GPT-5.4(medium reasoning effort)와 같은 benchmark별 시간 제한, 채점 script, task 분할을 쓴 비교에서 EvoMaster는 10개 benchmark 가운데 PostTrainBench(Codex 15.92%, EvoMaster 13.83%)를 뺀 9개에서 가장 높았고, benchmark마다 점수가 가장 높은 다른 agent보다 BrowseComp에서 41.75점, MLE-Bench Lite에서 34.85점 높았다. 10개 benchmark 평균 점수는 EvoMaster 58.02%, Codex 40.29%, OpenHands 39.84%, OpenClaw 32.39%였고, benchmark별 평균 LLM 추론 비용은 EvoMaster가 $9.56으로 Codex의 $14.85보다 35.6% 낮았다. tool, prompt, orchestration, benchmark protocol을 그대로 두고 backend만 바꾸면 평균 점수는 GLM-5.2 max에서 63.65%(평균 비용 $14.00), DeepSeek-V4-Pro max에서 55.66%(GPT-5.4 평균 비용의 34.4%)였다.
• 한계: 저자들은 EvoMaster가 주로 in silico(컴퓨터 안 계산) 연구 workflow에 맞춰져 있다고 밝히고, cloud laboratory나 로봇 합성 장비 같은 실제 실험 장비를 직접 다루는 일은 향후 과제로 남겼다. 비용 비교는 LLM 추론 비용만 셌고, 평균이 Combinatorial Construction처럼 비싼 benchmark의 영향을 크게 받아 중앙값으로는 EvoMaster($4.57)가 Codex($3.00), OpenHands($2.78), OpenClaw($1.43)보다 높았다. EvoMaster 쪽은 benchmark마다 맞춘 SciMaster agent나 입출력만 조금 고친 minimal agent를 썼고 비교 대상은 범용 agent 셋이며, 저자들은 benchmark 결과가 주로 workflow의 폭을 보여 준다고 밝혔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.