Idea2Plan: Exploring AI-Powered Research Planning

이 논문은 LLM이 연구 아이디어를 실행할 수 있는 연구 계획으로 바꾸는 능력에 대한 체계적인 이해가 부족한 문제를, 학습 cutoff 뒤의 논문에서 아이디어, 참고 계획, 채점 rubric을 자동으로 뽑아 만든 benchmark Idea2Plan Bench로 풀었다.

이 논문은 한마디로 연구 아이디어 한 단락을 받아 다섯 section의 연구 계획을 쓰게 하고, 원 논문에서 뽑은 yes/no rubric(채점 질문 목록)으로 그 계획을 채점하는 benchmark다. ICML(International Conference on Machine Learning) 2025 Spotlight와 Oral 논문 가운데 GPT-5의 학습 data cutoff 전에 arXiv에 올라온 논문을 빼고 무작위로 고른 200편을 test set으로 썼고, Nature Mental Health 논문 46편으로 다른 분야 benchmark도 만들었다. LLM 8종을 네 가지 생성 방식으로 시험하자 GPT-5가 1-shot에서 평균 Planning Score(rubric 질문 충족 비율을 section별로 구해 평균한 점수) 63.2로 가장 높았고, 저자들은 그래도 개선할 여지가 크다고 보았다. 참고 문헌 section이 가장 어려운 section이었고, 검색 tool을 쓰는 ReAct(생각, 행동, 관찰을 되풀이하는 agent 방식) agent의 효과는 모델마다 달랐다.

핵심 요약

• 문제: 연구자는 실행할 수 있는 것보다 많은 아이디어를 내고 그 가운데 많은 수가 시간 제약 때문에 탐구 전 상태로 남으며, 아이디어를 시험 가능한 계획으로 바꾸는 데 며칠에서 몇 주가 걸릴 수 있다. 기존 연구는 아이디어 생성, 문헌 조사, 실험 실행 같은 다른 단계에 집중했고, 연구 계획은 명시적 평가 없는 중간 단계로 두거나(CodeScientist) 명확성과 novelty 같은 높은 수준의 기준으로만 평가했다(MLR-Bench). 평가에는 LLM이 공개된 논문으로 아이디어를 이미 봤을 수 있는 data contamination 위험과, 한 아이디어에 똑같이 타당한 계획이 여럿일 수 있다는 어려움이 있다.
• 입력과 출력: 이 논문은 task 정의, 자동 benchmark 구축 pipeline, LLM judge 검증용 benchmark를 낸 benchmark 논문이다. 입력은 원 논문 초록에서 method 이름과 실험 결과를 빼고 1인칭으로 다시 쓴 연구 아이디어이고, 출력은 Introduction, Key Literature, Methods, Initial Experimental Design, Resources/Compliance/Ethical Considerations 다섯 section으로 된 연구 계획이다. 채점은 원 논문에서 뽑은 참고 계획으로 만든 section별 yes/no rubric 질문을 LLM judge가 판정해 section마다 충족 비율을 구하고, 다섯 section을 평균한 Planning Score로 한다.
• 방법: ICML 2025 Spotlight와 Oral 논문 가운데 시험한 LLM의 가장 최근 학습 data cutoff(GPT-5)보다 먼저 arXiv에 올라온 논문을 빼고, 남은 논문에서 200편을 test set으로, 30편을 dev set으로 무작위로 골랐다. o4-mini(reasoning=high)가 초록에서 아이디어를, 본문에서 참고 계획을 뽑고, rubric 질문은 원 아이디어에 없는 고유 용어 대신 어떤 타당한 계획이든 다뤄야 할 높은 수준의 설계 선택을 묻는다. 생성 방식은 Naïve(짧은 prompt와 section 제목), 0-shot(일반 지시 추가), 1-shot(고정 예시 계획 1개 추가), arXiv 검색 tool과 읽기 tool을 각각 최대 다섯 번 쓰는 ReAct agent의 네 가지다.
• 구현: 시험한 LLM은 GPT-4.1, GPT-4.1-mini, o4-mini, GPT-5, GPT-5-mini와 open-source인 DeepSeek-V3, DeepSeek-R1, Phi-4이고, 모델과 방식마다 아이디어당 세 번 실행해 평균을 냈다. judge는 사람 annotator 두 명이 계획 30개의 rubric 질문을 따로 채점한 Idea2Plan JudgeEval(일치율 88.4%, Cohen's κ(우연 일치를 뺀 일치도) 0.768)에서 후보를 비교한 뒤 o4-mini(reasoning=high)로 골랐고, 계획 하나를 section마다 따로 채점한다. 검색 tool은 arXiv 영역으로 제한한 Bing Search로 2025년 1월 30일(ICML 2025 마감) 뒤 논문과 대상 논문, 그 논문을 인용한 논문을 막고, 읽기 tool은 arXiv API로 받은 논문을 o4-mini가 정해진 양식으로 요약해 돌려준다.
• 결과: test set에서 GPT-5의 평균 Planning Score는 Naïve 62.0, 0-shot 63.0, 1-shot 63.2, ReAct 61.9로 네 방식 모두에서 가장 높았고, GPT-5와 GPT-5-mini는 다른 모델에 대한 쌍별 승률이 90%를 넘었다. ReAct의 효과는 모델마다 달라 GPT-4.1은 1-shot 40.8, ReAct 47.4였고 GPT-5는 1-shot 63.2, ReAct 61.9였으며, 저자들은 모델이 검색 결과의 관련 없는 내용을 계획에 넣는 경우가 있었다고 보고했다. 부록의 ICML 2026 논문 100편 benchmark에서는 단독 GPT-5.5가 62.0, Codex harness와 논문 검색 MCP(Model Context Protocol) tool을 쓴 GPT-5.5가 75.1이었고, 표 28의 upper bound(원 논문을 보고 쓴 계획의 점수)는 85.8이었다.
• 한계: 계획 양식은 AI 논문 관례를 따르고 일정, 운영 계획, 사람 전문성처럼 LLM이 정하기 어려운 요소는 뺐으며, Nature Mental Health benchmark는 양식을 네 section으로 줄였다. rubric은 핵심 요소를 다뤘는지를 재므로 긴 출력이 유리할 수 있고, 출력을 길게 쓰게 하자 GPT-4.1과 o4-mini의 점수가 올랐다. judge 후보 모델은 모두 false negative보다 false positive가 많은 관대한 편향을 보였고, 참고 계획과 rubric의 사람 확인은 전문가 8명이 각자 고른 논문 8편에서 했다(section 평균 4.0 이상, 5점 척도).

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.