Idea2Story: An Automated Pipeline for Transforming Research Concepts into Complete Scientific Narratives

이 논문은 연구 agent가 시도마다 논문을 실시간으로 다시 읽는 비효율을, 채택 논문과 리뷰에서 방법 단위를 미리 뽑아 지식 그래프로 쌓고 실행 때 검색해 쓰는 방식으로 줄이려 했다.

이 논문은 한마디로 채택 논문과 리뷰에서 뽑은 방법 단위를 지식 그래프로 미리 쌓아 두고, 막연한 연구 아이디어를 그 그래프에서 찾은 research pattern(문제 정의와 방법 골격을 갖춘 연구 story)으로 구체화하는 framework다. offline 단계는 NeurIPS와 ICLR 논문 약 13K편과 리뷰를 익명화해 method unit을 뽑고 군집해 pattern과 그래프를 만든다. online 단계는 아이디어, 분야, 논문 세 관점으로 pattern을 찾고 LLM reviewer의 평가로 다듬는다. 평가는 아이디어 3개에 대한 정성 비교이고, LLM 평가자는 모든 사례에서 직접 생성 baseline보다 Idea2Story의 결과를 더 높게 보았다.

핵심 요약

• 문제: 기존 연구 agent는 연구를 시도할 때마다 많은 논문을 실시간으로 다시 찾고 읽고 요약하는 runtime 중심 방식에 기댄다. 이 방식은 계산 비용이 크고 context window 한계에 걸리며, 추론이 깨지기 쉽고 hallucination으로 이어지기 쉽다. 저자들은 기존 pipeline 한 번이 아이디어에서 실험까지 길게는 15시간 걸린 사례를 든다.
• 입력과 출력: 이 논문은 framework를 제안하고 일부를 구현해 사례로 보인 논문이다. 입력은 자연어로 쓴 막연한 연구 아이디어이고, 출력은 문제 정의, 연구 공백, 방법 골격, 기여 주장을 담은 구조화된 research pattern이다. 본문 실험은 research pattern 생성까지를 다루고, 실험 agent 연결과 완성 논문 초안 생성은 future work로 적었다.
• 방법: offline 단계에서 동료 심사를 거친 채택 논문과 리뷰를 모아 익명화하고, 논문마다 문제 정식화와 해법을 담은 method unit을 뽑은 뒤 embedding을 UMAP으로 줄이고 DBSCAN으로 군집해 research pattern을 만든다. method unit과 meta-method를 node로, 같은 논문에서 함께 쓰인 관계를 edge로 하는 지식 그래프를 쌓는다. online 단계에서는 아이디어, 분야, 논문 세 관점의 점수를 합쳐 pattern을 찾고, LLM reviewer가 새로움과 타당성을 평가해 점수가 오른 수정만 남기는 loop로 다듬는다.
• 구현: 지식 그래프는 최근 3년 NeurIPS 논문 약 5,000편과 ICLR 논문 약 8,000편, 합쳐 약 13K편과 그 리뷰로 만들었고, research pattern 생성의 backbone은 GLM-4.7이다. 공식 저장소 README에는 아이디어 한 줄을 받아 최종 story JSON을 내는 pipeline script, 자기 논문 데이터로 그래프를 새로 만드는 4단계 builder, 실제 리뷰 점수를 기준점으로 쓰는 anchored multi-agent review가 있다. README는 미리 만든 그래프가 ICLR 데이터로 만들어졌다고 적는다.
• 결과: 결과는 정성 비교로만 제시된다. 외부 협력자가 고른 사용자 아이디어 3개에서 같은 모델에 바로 story를 쓰게 한 baseline과 비교했고, 두 생성 과정 밖의 별도 모델인 Gemini 3 Pro가 생성 방법을 가린 채 평가한 결과 모든 사례에서 Idea2Story 쪽을 택했다. e-commerce 사용자 의도 이해 사례에서 Idea2Story는 의도 분류를 diffusion 기반 구조 추론 문제로 다시 정의했고, baseline은 기존 분류 문제 설정 안에서 구성 요소를 더하는 데 머물렀다.
• 한계: 본문 평가는 외부 협력자가 고른 아이디어 3개와 LLM 평가자 하나(Gemini 3 Pro)에 기댄 예비 정성 연구다. 지식 그래프는 NeurIPS와 ICLR의 ML 논문으로만 만들었고, 저자들은 실험 agent를 붙인 closed-loop pipeline과 완성 논문 초안 생성을 future work로 남겼다. 저자들은 관련 연구에서 자동 평가 시스템이 accept와 reject 경계를 가르는 데 사람 전문가보다 덜 믿을 만하다고 적었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.