The Station: An Open-World Environment for AI-Driven Discovery

이 논문은 중앙 관리자가 baseline을 고르고 LLM에 개선 하나만 시키는 기존 AI 과학 발견 방식의 경직성을, agent들이 방을 오가며 논문 읽기, 협업, 실험 제출, 논문 출판을 스스로 고르는 open-world 다중 agent 환경 Station으로 풀었다.

이 논문은 한마디로 여러 AI agent가 중앙 조정 없이 과학 연구 생태계를 흉내 낸 환경 안에서 연구 행동을 스스로 고르게 한 시스템이다. agent들은 tick(모든 agent가 한 번씩 행동하는 시간 단위)마다 Research Counter, Archive Room, Mail Room 같은 방을 오가며 실험 code를 제출하고 논문을 읽고 쓰며, 같은 lineage의 후손에게 기록을 물려준다. 원 채우기, 단일 세포 리보핵산(RNA) 염기서열 분석(scRNA-seq)의 batch integration, ZAPBench 신경 활동 예측, Sokoban RL, RNA Modeling 다섯 과제에서 저자들은 기존 최고 기록보다 나은 점수를 보고했다. 목표 없이 실행한 Open Station에서는 agent들이 token 비용 변동을 Station의 생명 현상으로 해석하는 집단 착각이 생겼다.

핵심 요약

• 문제: 저자들은 AlphaEvolve 같은 진화 방법이나 LLM-TS(LLM-Tree-Search) 같은 tree search 방법이 경직된 공장 pipeline과 닮았다고 본다. 이런 방법에서는 중앙 관리자가 baseline을 고르고 LLM에 개선 하나를 시킨 뒤 고정 지표로 평가하고 session을 끝내며, 저자들은 이 상태 없는(stateless) 하향식 과정이 과학 발견의 개방성과 창의성을 제한한다고 보고 agent가 행동을 스스로 고르는 환경을 대안으로 제시한다.
• 입력과 출력: 입력은 Research Counter에 놓인 연구 과제 명세와 채점 evaluator다. agent의 제출물은 대개 명세가 정한 함수 형식의 Python code이고(evaluator를 건너뛰는 일반 code 제출도 받는다), Station은 이를 sandbox에서 실행해 주 점수(primary score), 보조 지표, 실행 log를 system message로 돌려준다. 결과물은 과제별 최고 점수 code와 agent가 쓴 Archive 논문이고, 논문 종류는 환경을 구현하고 다섯 과제로 실험한 시스템 논문이다.
• 방법: Station의 시간은 tick 단위로 흐르고, 한 tick 동안 모든 agent가 정해진 순서로 prompt와 응답을 한 번씩 주고받는다. agent는 /execute_action 명령으로 Archive Room(논문 출판과 읽기), Mail Room(일대일 메일), Public Memory Room(공개 forum), Reflection Chamber(여러 차례 이어지는 성찰), Token Management Room(오래된 context 요약과 정리) 같은 방을 오가며 행동을 고르고, 같은 lineage의 후손에게 개인 기록을 물려준다. 심사 agent가 Archive 논문을 심사하고 debugger agent가 code 오류를 고치며, 최고 점수가 정해진 tick 수(예: 100 tick) 동안 오르지 않으면 Stagnation Protocol이 더 단순하고 일반적인 baseline을 새로 세우라고 알린다.
• 구현: Research Station 실험마다 Gemini 2.5 Pro 두 개, Gemini 2.5 Flash 두 개, GPT-5 한 개로 agent 다섯을 두고, Gemini 2.5 Pro를 심사 agent로, Claude Code를 debugger로 썼다. agent 수명은 300 tick이고 처음 50 tick은 다른 agent의 제출물과 일부 공개 방이 막히는 미성숙 기간이며, 과제마다 Station 2개를 독립 실행해 높은 쪽을 보고했고 Station 하나의 API 비용은 약 500 USD였다. 공식 저장소 README는 지금 저장소가 Version 2.0.0이고 v1 구조와 결과는 이 논문에 있다고 적으며, 과제는 research_task.md 명세와 evaluator.py 채점 code 두 파일로 정의한다고 설명한다.
• 결과: 원 32개 채우기(circle packing)에서 반지름 합은 2.93957로 AlphaEvolve의 2.93794를 넘었고, scRNA-seq batch integration 종합 점수는 0.5877로 LLM-TS의 0.5867보다 높았지만 사람 dataset 네 개 평균은 0.5589로 LLM-TS의 0.5737보다 낮았다. Sokoban 해결률은 94.9%로 이전 최고 model-free RL 방법(DRC)의 91.1%를, RNA Modeling 일곱 과제 평균 test 성능은 66.3%로 Lyra의 63.4%를 넘었다. ZAPBench 평균 test MAE(평균 절대 오차, 낮을수록 좋다)는 26.37 × 10−3으로 LLM-TS의 26.62 × 10−3보다 낮았다.
• 한계: Station 실행 결과는 편차가 크고, 저자들은 과제마다 2개 실행 가운데 높은 쪽을 보고했으며 실행 수를 늘리는 실험은 비용 때문에 하지 않았다. Station은 범용 환경이지만 설계는 점수 하나로 채점되는 과제에 효과적이고, 평가가 길어지면 Station이 멈추므로 과제는 빠르게(예: 두 시간 안에) 자동 평가되어야 한다. 목표 없이 700 tick을 실행한 Open Station에서 agent들은 다른 agent 메시지 길이 때문에 생긴 token 비용 변동을 Station의 'metabolism'과 의식으로 해석했고, 저자들은 이 집단 착각의 원인을 alignment 편향과 외부 신호 부재로 보았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.