EvoScientist: Towards Multi-Agent Evolving AI Scientists for End-to-End Scientific Discovery

이 논문은 AI scientist 시스템이 고정된 pipeline으로 같은 실패를 되풀이하는 문제를, 아이디어 담당, 실험 담당, 진화 관리 담당의 세 agent와 두 개의 지속 memory로 경험을 쌓아 다음 과제에서 다시 불러오는 방법으로 풀었다.

이 논문은 한마디로 연구 경험을 memory에 쌓아 아이디어 생성과 실험 코드 실행을 함께 개선하는 다중 agent AI scientist 시스템 EvoScientist다. Researcher Agent가 아이디어와 제안서를, Engineer Agent가 네 단계 실험 코드를 맡고, Evolution Manager Agent가 성공과 실패를 정리해 ideation memory와 experimentation memory에 쓴다. 아이디어 비교에서는 공개 시스템 4개와 상용 시스템 3개를 상대로 한 LLM 판정과, 그중 4개를 상대로 한 사람 판정에서 모두 앞섰고, 코드 실행 성공률 평균은 34.39에서 44.56으로 올랐다. 이 시스템이 만든 논문 6편은 ICAIS 2025(International Conference on AI Scientists) AI Scientist Track에 모두 채택됐다.

핵심 요약

• 문제: 기존 AI scientist 시스템 대부분은 사람이 짠 고정 pipeline을 쓰고, 쌓인 상호작용 기록과 상관없이 아이디어 생성과 코드 생성 전략이 그대로 유지된다. 저자들은 그 결과 유망한 연구 방향을 놓치고, 이미 실패한 실험을 되풀이하고, 실현하기 어려운 아이디어에 자원을 쓴다고 지적한다.
• 입력과 출력: 이 논문은 구현과 실험을 갖춘 다중 agent 시스템 논문이다. 입력은 사용자의 연구 목표 문장이고, 출력은 연구 제안서(배경, 관련 연구, 방법, 실험 계획, 예상 결과)와 실제로 실행한 코드, log, 지표, 실패 진단을 담은 실행 보고서다. 과제가 끝날 때마다 두 memory가 갱신되어 다음 목표에서 다시 쓰인다.
• 방법: Researcher Agent는 ideation memory에서 비슷한 방향 지식을 꺼낸 뒤 제안, 검토, 수정을 반복하는 idea tree search로 후보를 만들고, Elo 점수(두 후보를 짝지어 비교해 매기는 순위 점수) 토너먼트로 1위를 골라 제안서로 키운다. Engineer Agent는 experimentation memory의 전략을 참고해 초기 구현, hyperparameter 조정, 제안 방법, ablation의 네 단계에서 코드를 만들고 실행하며, 실패하면 log를 보고 고친다. Evolution Manager Agent는 상위 3개 아이디어에서 유망한 방향을, 실패한 제안에서 실패 방향을, 코드 탐색 기록에서 데이터 처리와 학습 전략을 뽑아 두 memory에 쓴다.
• 구현: 아이디어 생성은 Gemini-2.5-Pro, 코드 생성은 Claude-4.5-Haiku가 맡고, 문헌 검색은 Semantic Scholar API(논문 검색 서비스), memory 검색은 Ollama(로컬 모델 실행 도구)에서 실행한 mxbai-embed-large embedding으로 한다. idea tree search의 후보는 최대 21개이고, 실험 네 단계의 최대 시도 횟수는 20, 12, 12, 18이다. 공식 저장소 README는 PyPI(Python 패키지 저장소)로 설치해 CLI(명령줄 화면), TUI(터미널 안 텍스트 화면), WebUI(웹 브라우저 화면)에서 쓰는 6개 sub-agent(plan, research, code, debug, analyze, write) 구성의 연구 agent 도구를 소개하며, 이 구성은 논문의 세 agent와 다르고 benchmark suite는 로드맵에 공개 예정으로 남아 있다.
• 결과: Gemini-3-flash 판정에서 EvoScientist는 공개 시스템 4개와 상용 시스템 3개를 모두 앞섰고, 네 기준을 합친 평균 격차(Avg. gap)는 공개 시스템 대비 +29.17에서 +93.34, 상용 시스템 대비 +46.00에서 +80.83이었다. 박사급 평가자 3명의 판정에서는 네 비교 평균 참신성 승률 82.50%, 실현 가능성 승률 64.17%를 보였고, 코드 실행 성공률은 experiment strategy evolution(코드 탐색 기록에서 실행 전략을 뽑아 memory에 쓰는 단계) 뒤 네 단계 평균 34.39에서 44.56으로 올랐다. 이 시스템이 만든 논문 6편은 투고 82편 가운데 26편을 채택한 ICAIS 2025 AI Scientist Track에 모두 채택됐다.
• 한계: 저자들은 평가가 시뮬레이션과 코드 실행으로 가설을 확인할 수 있는 계산 연구 과제에 한정되며, 재료과학이나 신약 개발처럼 물리 실험이 필요한 분야로 넓히려면 실험실 workflow와 실제 피드백을 붙여야 한다고 밝혔다. 제안 방법을 구현하는 3단계의 실행 성공률은 20.33에서 21.57로 조금 오르는 데 그쳤고, 아이디어 평가는 연구자가 낸 질의 30개로 했다. 채택된 논문의 리뷰에서는 이론적 정식화가 더 필요하다는 지적이 반복됐고, 논문 작성은 AI Scientist-v2의 작성 모듈을 그대로 썼다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.