IdeaScientist: Orchestrating Agents for Grounded Scientific Ideation

이 논문은 연구 아이디어를 내는 단계가 구현과 실험에 섞여 따로 학습하고 평가하기 어렵던 문제를, 다른 분야의 해법을 옮겨 오는 세 역할 agent를 역할별 RL로 학습하고 cutoff(문헌 검색을 허용한 마지막 날짜) 이후 사람 논문의 방향과 비교하는 방식으로 풀었다.

이 논문은 한마디로 연구 아이디어 제안 단계만 떼어 내 orchestrator와 세 sub-agent로 풀고 역할마다 RL로 학습시킨 시스템이다. gap finder가 가까운 선행 연구의 한계를 찾고, innovator가 다른 분야에서 비슷한 문제를 푼 mechanism을 옮겨 오고, report writer가 정해진 schema의 제안서를 쓴다. 아이디어 tuple 2.77 million건을 담은 Svalbard Idea Vault와 cutoff 이후 사람 논문을 참조 방향으로 삼는 평가를 함께 만들었고, Qwen3.6-27B 위에서 overall 74.6%를 내 같은 backbone의 open-source baseline 가운데 가장 높은 DeepScientist(60.6%)보다 14.0% 높았다.

핵심 요약

• 문제: 기존 연구 자동화 시스템은 해법 제안과 구현, 실험, 논문 작성을 한 흐름으로 묶어서, 좋은 결과가 좋은 아이디어에서 왔는지 좋은 실행에서 왔는지 가려내기 어려웠다. 연구 제안서는 기계로 확인할 reward가 없어 학습이 어렵고, 제안서 전체에 rubric 점수 하나만 주면 credit assignment(어느 단계가 점수에 기여했는지 가리는 일)가 약하고 reward hacking을 부르기 쉽다.
• 입력과 출력: 이 논문은 연구 아이디어를 내는 agent 시스템이다. 입력은 문제 정의(과제의 입력과 원하는 출력)와 기존 해법의 약점으로 남은 challenge이고, 출력은 문제 정의, 핵심 novelty, 관련 연구, 방법, 평가 계획, 반증 가능한 예측, 한계를 정해진 schema로 채운 연구 제안서다. 제안서는 측정 결과 없이 쓰고, 선행 연구 인용은 database id로 본문에 단다.
• 방법: orchestrator가 연구 계획을 관리하며 세 sub-agent를 부르고, gap finder는 가까운 선행 연구의 공통 한계를 찾고, innovator는 다른 분야에서 비슷한 challenge를 푼 mechanism을 가져와 맞추고, report writer는 그 intuition을 완성된 제안서로 쓴다. 각 역할은 사람 논문에서 복원한 참조 산출물을 기준으로 asynchronous GRPO(Group Relative Policy Optimization, 같은 문제에서 나온 여러 rollout의 reward를 서로 비교해 학습하는 RL 방법)로 따로 학습한다. reward는 구조, 과제 준수, 인용, tool 사용 검사로 된 validity gate를 통과한 rubric 점수(참조 없이 매긴 품질 점수, 참조와의 일치 점수, 인용 목록 겹침을 재는 citation F1의 평균)에 0.85, 규칙 준수 항목에 0.15의 가중치를 준다.
• 구현: Svalbard Idea Vault는 1986년부터 2026년 6월 18일까지의 arXiv 전 분야 논문에, 2026년 1월 1일 이후 논문의 참고문헌을 한 단계 따라가 찾은 누락 논문을 더한 4.7 million편(전문 확보 2.8 million편, 60%)이고, 이를 (문제 정의, challenge, research gap, intuition, 제안서) tuple 2.77 million건으로 분해했다. 2026년 1월 1일 이후 나온 ML 방법론 논문 14,977편을 학습 14,500편, 검증 200편, 시험 277편으로 나눴고, Qwen3.6-27B 위에 역할마다 LoRA(Low-Rank Adaptation, 원래 가중치는 두고 작은 adapter만 학습하는 fine-tuning 방법) adapter를 학습했다. README 기준으로 GitHub 저장소에는 ideation harness, vault 생성 코드, RL reward, 평가 코드가 있고, vault와 학습, 검증, 시험 분할은 Hugging Face dataset에 있으며, ablation 실험, 사람 평가, LaTeX 표 생성 코드는 빠져 있다.
• 결과: 시험 논문 277편을 Qwen3.6-27B judge로 채점한 overall 점수(novelty 평균과 제안서 품질 평균의 평균)에서, Qwen3.6-27B 위의 IdeaScientist-Trained는 74.6%로 같은 backbone의 open-source baseline 가운데 가장 높은 DeepScientist(60.6%)보다 14.0% 높았고, 범용 agent인 Claude-4.8-Opus 기반 Claude Code(68.7%)보다 5.9%, GPT-5.4 기반 Codex(69.5%)보다 5.1% 높았다. 역할별 검증용 held-out reward는 gap finder가 56.6%에서 66.7%, innovator가 58.8%에서 69.5%, report writer가 78.6%에서 89.1%로 올랐다. IdeaScientist-Base의 이득은 주로 novelty에서 나왔고, 평균 novelty에서 같은 backbone의 가장 강한 baseline과의 차이는 Qwen3.6-27B에서 가장 큰 23.1%였다.
• 한계: 평가는 실험 전 단계에서 cutoff 이후 사람 논문 방향과의 일치를 LLM judge가 재는 방식이고, judge 검증에 쓴 제안서 50개에서 사람 전문가 두 명의 점수 사이 Pearson 상관은 r = 0.56이었다. blind pairwise 사람 평가 50편에서 DeepScientist는 IdeaScientist-Trained의 유의한 우위에서 유일한 예외였고, IdeaScientist-Base보다 더 자주 이긴 차이도 통계적 유의성이 없었다. 학습과 시험 논문은 ML 방법론 논문으로 한정했고, 모델 5개에 cutoff 이후 논문 10편의 제목만 주는 검사에서 기억 흔적이 없었지만 저자들은 parameter에 남은 기억에 따른 오염 가능성을 사후 평가의 한계로 밝혔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.