OmniScientist: Toward a Co-evolving Ecosystem of Human and AI Scientists

이 논문은 기존 AI Scientist가 연구를 주로 단독 탐색이나 최적화 문제로 다루는 한계를, 인용 network 지식 기반, 사람과 agent가 함께 참여하는 OSP(Omni Scientific Protocol), 사람 투표로 순위를 매기는 ScienceArena를 붙인 연구 자동화 시스템으로 다뤘다.

이 논문은 한마디로 문헌 조사, 아이디어, 실험, 논문 작성, 논문 심사까지 이어지는 AI Scientist 시스템에 인용 network 지식 기반, 사람 참여 protocol, 공개 평가 platform을 더한 OmniScientist를 소개한 시스템 논문이다. OpenAlex 논문 메타데이터 약 269 million건과 arXiv PDF 전문 약 2.6 million건 등으로 지식 graph를 만들고, 문헌 조사, 실험, 논문 작성, 심사 단계는 여러 agent가 나눠 맡는다. 근거는 모듈별 사례 연구와 소규모 측정이며, 예를 들어 박사급 참가자가 GPT-5와 함께 푼 HLE(Humanity's Last Exam) 문제의 평균 정확도는 0.22로 사람 혼자(0.1)와 GPT-5 혼자(0)보다 높았다. 저자들은 현재 능력이 AI 분야에 묶여 있고, 실험 agent도 지금은 계산 workflow만 지원한다고 밝혔다.

핵심 요약

• 문제: 저자들은 기존 AI Scientist가 과학 발견을 주로 단독(standalone) 탐색이나 최적화 문제로 정식화해서, 실제 연구가 기대는 협업 방식, 기여 귀속, 동료 심사, 구조화된 지식 network를 모델링 범위 밖에 둔다고 지적한다. 그 결과 지금 시스템은 연구 생태계를 이루거나 사람 연구 공동체와 깊이 상호작용하기 어렵다고 본다.
• 입력과 출력: 사용자가 낸 연구 주제나 질문을 받아 Markdown 문헌 조사, 연구 배경과 아이디어와 구현 방향을 담은 아이디어 제안, 실험 코드와 결과, LaTeX 원고, 주요 판단에 근거 인용을 단 심사 보고서를 낸다. ScienceArena는 여섯 track에서 사용자가 낸 연구 질문에 대한 두 model의 답을 익명으로 비교한 투표를 받아, model마다 1000에서 시작하는 Elo 점수로 순위표를 만든다. 논문 종류는 여러 모듈, protocol, 평가 platform을 묶은 시스템 논문이고, 근거는 모듈별 사례 연구와 소규모 측정이다.
• 방법: 문헌 조사는 Planning, Literature, Writing agent가 나눠 맡고, embedding 기반 Elasticsearch 검색으로 얻은 후보에 인용과 참고문헌으로 이어진 논문을 더한 뒤, 관련성 검증을 통과한 논문을 층마다 다시 넓히는 너비 우선 탐색(BFS)을 미리 정한 깊이나 범위에 이를 때까지 되풀이한다. 아이디어 단계(Deep Ideation)는 논문 keyword의 공동 출현 network에서 이웃 keyword를 탐색, 추가, 교체하며 제안을 고치고, Idea Stack에 단계별 keyword와 제안과 평가를 남기며, 사람 심사자의 사고 과정을 흉내 내는 prompt로 만든 추론으로 fine-tuning한 critic model이 전문가 심사 기준에 맞춘 feedback을 준다. OSP는 사람과 AI를 같은 Participant 유형으로 다루고, 중앙 Hub가 모든 protocol 메시지를 기록하며, 연구 산출물마다 참여자가 한 행동을 timestamp와 함께 시간순으로 적는 ContributionLedger를 붙인다.
• 구현: 지식 기반은 OpenAlex 논문 메타데이터 약 269 million건과 인용 관계, arXiv PDF 전문 약 2.6 million건, 최근 십 년 상위 AI 학회 열 곳의 전문 논문 102,679편과 참조된 baseline model 116,970개, 관련 dataset 68,316개를 Paper, Author, Concept, Resource node의 graph로 묶고, Diagnose, Search, Normalization, Coding, Review agent가 이 graph를 계속 고친다. 실험 단계는 baseline과 dataset의 자체 설명(self-description)에 다른 논문 인용 문맥의 요약을 합친 표현으로 fine-tuning한 bi-encoder retriever와, 논문과 baseline과 dataset을 잇는 인용 사슬로 순위를 매기도록 fine-tuning한 LLM reranker로 후보를 고른 뒤, Evolution, Sample, Evaluation, Feedback agent가 코드를 바꿔 가며 실행한다. 논문 작성은 Outline, Figure, Writing, Refinement agent가, 심사는 TIMAR(Traceable and Interactive Multi-Agent Review)의 다섯 단계 workflow가 맡고, 논문이 적은 공개 주소는 omniscientist.ai와 sciencearena.ai다.
• 결과: 지식 graph 정제는 소규모 평가(n = 1000)에서 메타데이터 완전성을 0.965에서 1.000으로, 정확성을 0.951에서 0.997로 올렸고, 논문 사이 관계를 묻는 질문과 답 100쌍에서 검색 정확도를 0.70에서 0.88로 올렸다. STDE(Stochastic Taylor Derivative Estimator)의 Monte Carlo sampler를 QMC(Quasi-Monte Carlo) sampler로 바꾸자는 OmniScientist의 제안은 AllenCahnTwobody 방정식의 100차원부터 100000차원까지 네 조건 모두에서 원래 STDE와 AlphaEvolve가 찾은 변형보다 오차가 낮았고, 10000차원 오차는 STDE 0.003440, AlphaEvolve 변형 0.002059, OmniScientist 0.000572였다. 박사급 참가자 10명이 컴퓨터 과학과 AI 분야 HLE 문제 10개를 사람 혼자 5문제, GPT-5와 협업 5문제로 나눠 푼 실험에서 평균 정확도는 GPT-5와 협업 0.22, 사람 혼자 0.1, GPT-5 혼자 0이었다.
• 한계: 저자들은 현재 능력이 AI 분야에 묶여 있다고 밝혔고, 데이터 기반이 주로 arXiv 전문이라 AI와 컴퓨터 과학에 크게 치우치며 Nature, Science와 다른 분야별 학술지는 아직 통합하지 못했다고 적었다. 실험 agent는 지금 개발 환경 설정, dataset 준비, 학습과 추론 script 실행, hyperparameter sweep 같은 계산 workflow만 지원해 화학이나 생물학의 wet-lab 실험과 실험 장비 조작은 현재 범위 밖에 있고, 심사 모듈도 AI 분야 원고로 맞춰져 다른 분야 원고에서는 품질이 떨어지며, 모듈 전반이 여전히 상당한 계산 자원과 처리 시간을 쓴다. 검증은 AllenCahnTwobody 방정식 하나로 STDE를 개선한 사례, 박사급 참가자 10명과 HLE 문제 10개로 한 협업 실험, Gemini-2.5-pro가 채점한 문헌 조사 비교 같은 사례 단위이고, ScienceArena 결과는 투표 수와 Elo 값 대신 track별 선호 경향과 사례 그림으로 제시됐다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.