Can AI Agents Make Open-Ended Scientific Discovery? Evidence from Station

이 논문은 정답 지표가 없는 열린 과학 문제에서 AI agent가 쉬운 질문으로 빠지는 문제를, 분산 multi-agent 연구 환경 Station에 Supervisor와 Meta Reflection을 더하는 방법으로 풀고 ICLR oral 논문 세 편의 발견을 다시 찾는지로 검증했다.

이 논문은 한마디로 여러 agent가 스스로 연구 방향을 정하는 Station 환경을 정답 지표 없는 열린 과제에 맞게 고치고, 실제로 과학 발견을 해내는지 다섯 과제로 확인한 실험 연구다. 원 논문의 결과를 숨긴 채 연구 질문과 실험 설정만 주고 web 접속을 막은 뒤, agent가 낸 보고서가 원 논문의 하위 발견을 몇 개나 다시 찾는지 센다. Station은 평균 62.7%를 다시 찾아 Codex Multiagent-v2 15.4%, AI Scientist-v2 14.4%에서 20.6%보다 높았다. 원 논문이 없는 두 과제에서는 agent가 낸 발견 일부가 모델의 knowledge cutoff(학습 자료의 마지막 시점) 이후 나온 사람 연구와 맞았다.

핵심 요약

• 문제: AI는 명확한 평가 지표가 있는 과제에서 과학 발견 성과를 냈지만, 지표가 없는 열린 과제를 스스로 풀 수 있는지는 아직 열린 질문이다. 열린 과제에서는 agent의 판단이 사람 연구자와 어긋날 수 있고, 조사하기 쉬운 질문을 중요하다고 포장하는 streetlight effect(쉬운 곳만 찾는 경향)가 생긴다.
• 입력과 출력: 기존 multi-agent 연구 환경 Station을 확장해 다섯 과제로 평가한 실험 연구다. rediscovery 과제 세 개에서 agent는 ICLR 2025와 ICLR 2026 oral 논문(oracle paper)의 연구 질문과 실험 설정(checkpoint, 환경)만 받고, 원 논문 결과는 숨겨지며 web 접속은 막힌다. 출력은 Consolidation Agent가 쓴 약 8,000단어 연구 보고서이고, 원 논문 발견을 약 열 개의 하위 발견으로 나눈 기준으로 채점하며, 원 논문이 없는 탐색 과제 두 개는 사람이 검토한다.
• 방법: Station에서는 서로 다른 모델의 agent 6개가 300 tick 동안 각자 연구 방향을 정하고 실험, 내부 논문 게시, 메일로 협업한다. Supervisor agent는 연구 제안서를 받아 각 agent가 최소 60 tick 동안 제안한 방향을 유지하게 하고, Meta Reflection은 50 tick마다 GPT-5.5가 외부 연구자 시점에서 agent의 연구를 다시 평가하게 한다. 실행이 끝나면 Codex와 GPT-5.5로 만든 Consolidation Agent가 발견과 근거를 보고서로 정리한다.
• 구현: 각 실행은 Gemini 3.1 Pro agent 3개, GPT-5.5 agent 1개, Claude Opus 4.8 agent 2개로 시작하고, 실험 코드는 web이 막힌 sandbox에서 Codex(GPT-5.5)가 짜고 실행한다. 평가 전체는 연구 실행 50번, 실험 시간 3,400시간 이상, 출력 token 760 million개 규모이고, 보고서 채점은 GPT-5.5 agent가 맡으며 출처를 가린 전문가 판정과 66건 중 64건(97.0%)이 일치했다. 공식 저장소에는 station 코드, 다섯 과제 패키지, 실행 스크립트, web interface가 있고 큰 데이터와 checkpoint는 따로 배포된다.
• 결과: 세 rediscovery 과제 평균 회수율은 Station이 62.7%로 Codex Multiagent-v2 15.4%, AI Scientist-v2 14.4%에서 20.6%보다 높았고, 과제별로는 emergent planning 75.8%, low-rank 구조 70.4%, RNN 시간 표현 41.9%였다. Supervisor와 Meta Reflection을 모두 빼면 emergent planning 회수율이 75.8%에서 57.9%로, 연구 프로젝트 평균 지속 시간이 67.0 tick에서 55.5 tick으로 줄었다. 탐색 과제에서 agent가 찾은 개입(마지막 두 layer의 MLP 출력에 0.5를 곱하는 방식)은 InternVL3.5-8B-Instruct의 정답을 40문항 중 28개에서 35개로 늘렸다.
• 한계: emergent planning 원 논문의 저자 한 명이 원 논문과 겹치지 않는 agent 연구 제안 24개를 평가하자 75%가 5점 만점에 1점이나 2점을 받아, agent의 연구 판단이 사람과 어긋나는 문제가 남았다. 사용한 모델의 knowledge cutoff가 2025년 1월에서 2026년 1월이고 가장 이른 oracle paper가 2025년 4월에 나와, 학습 중에 원 논문 결과를 봤을 가능성을 배제하지 못한다. 저자는 비교한 시스템끼리 모델 구성과 workflow도 달라서 성능 향상을 분산 구조 덕분으로 돌리지 못한다고 밝혔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.