Open Source Planning & Control System with Language Agents for Autonomous Scientific Discovery

이 논문은 사람이 단계마다 검토해야 하던 우주론 연구 agent의 한계를, planner와 plan reviewer가 계획을 세우고 controller가 agent들에게 단계별 작업을 맡기는 Planning & Control 구조로 풀었다.

이 논문은 한마디로 약 30개의 LLM agent가 Planning & Control 방식으로 정량 연구 과제를 사람 개입 없이 끝까지 수행하는 오픈소스 multi-agent 시스템 cmbagent를 소개한 시스템 논문이다. planner와 plan reviewer가 계획을 다듬고, controller가 researcher와 engineer에게 단계별 sub-task를 맡기며, 코드는 로컬에서 실행된다. 우주론 라이브러리 camb와 class 문서를 통째로 넣은 context agent와 RAG(retrieval-augmented generation, 검색한 문서 조각을 넣어 답하는 방식) agent가 분야 지식을 맡는다. DS-1000 일부 문제에서 Planning & Control은 One Shot보다 전체 성공률을 66%에서 78%로 올렸다.

핵심 요약

• 문제: 이전 연구(Laverick et al.)의 우주론 multi-agent 시스템은 모든 단계에 사람이 끼어, 사용자가 LLM 응답마다 검토하고 다음 행동을 지시했다. 저자들은 이런 시스템이 쓸모 있는 연구 보조 도구이지만 사람의 지속적인 입력에 기대는 만큼 자동화에 한계가 있다고 보고, 사람 개입 없이 연구 과제를 끝까지 수행하는 시스템을 목표로 삼았다.
• 입력과 출력: 이 논문은 오픈소스 multi-agent 시스템 cmbagent를 소개하는 시스템 논문이다. cmbagent는 사용자가 적은 정량 연구 과제(Main Task)를 받아 계획을 세우고, 계획의 단계를 차례로 수행하며 필요한 코드를 짜서 로컬에서 실행한다. 출력은 JSON 파일로 저장한 최종 계획, 단계별 코드와 실행 결과, researcher agent가 쓴 Markdown 글, 그림이고, Planning 단계 총비용(달러)과 sub-task마다의 비용을 표시한다.
• 방법: Planning 단계에서는 planner가 계획을 내고 plan reviewer가 피드백을 주는 loop를 n_reviews번 반복하며, 계획은 최대 n_steps 단계이고 단계마다 sub-task, 할 행동, 맡을 agent를 적는다. Control 단계에서는 controller가 sub-task를 researcher(추론, 해석, 요약)와 engineer(Python 코드)에게 나눠 주고, 실행 결과를 읽은 interpreter agent가 다음 agent를 고른다. 실행 실패가 n_fails보다 적으면 대개 engineer가 다시 시도하고, Python package가 없으면 대개 installer agent가 pip install을 실행하며, n_fails에 닿으면 terminator agent가 session을 끝낸다.
• 구현: 약 30개의 LLM agent가 multi-agent framework AG2 위에서 OpenAI, Google, Anthropic API로 모델을 부른다. 저자들은 우주론 Python package camb와 class의 문서를 system message에 통째로 넣은 context agent 두 개와, classy_sz 문서와 논문 corpus를 vector embedding으로 검색하는 RAG(retrieval-augmented generation) agent를 만들었고, denario 프로젝트에서는 cmbagent가 연구 결과 생성 backend를 맡는다. 공식 GitHub 저장소 README는 pip install cmbagent 설치, 분야별 추가 의존성(materials, biochem, astro, data), one_shot 실행 예시, 저장소 docs/notebooks의 demo notebook을 안내한다.
• 결과: camb 문제 14개를 agent마다 열 번씩 풀게 한 평가에서, 저자들은 gpt-4o, gpt-4.1, gemini-2.5-pro가 12, 13, 14번 문제에서 계속 실패했고 gemini-2.5-pro를 쓴 camb context agent는 훨씬 나은 성능을 냈다고 보고했다. DS-1000의 pandas, numpy, matplotlib 일부 문제에서 Planning & Control은 One Shot보다 전체 성공률을 66%에서 78%로 올렸다(researcher agent는 gpt-4.1). Union2.1 Type Ia 초신성 자료로 우주론 parameter를 MCMC(Markov chain Monte Carlo, 표본을 반복해 뽑아 parameter 분포를 추정하는 방법)로 추정하는 과제는 gpt-4.1과 기본 설정으로 첫 실행에서 풀렸다.
• 한계: 평가는 camb 문제 14개, DS-1000의 일부 구간, 우주론 과제 한 건이고, camb 성공률은 Figure 2 그림으로만 제시된다. denario는 2025년 7월 9일 기준 공개 전이었다. 저자들은 이런 시스템이 automation bias(자동화된 결과를 지나치게 믿는 경향), 공정성, 결과의 오용과 오해 문제를 낳을 수 있고 윤리와 환경 비용도 다뤄야 한다고 밝혔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.