PaperOrchestra: A Multi-Agent Framework for Automated AI Research Paper Writing

이 논문은 아이디어 메모와 실험 기록 같은 비정형 연구 자료를 투고용 LaTeX 논문으로 바꾸는 문제를, 개요, 그림, 문헌 조사, 본문 작성, 수정을 나눠 맡는 multi-agent framework PaperOrchestra로 풀었다.

이 논문은 한마디로 연구 아이디어 요약, 실험 기록, 학회 LaTeX template과 지침을 받아 투고용 LaTeX 원고와 PDF를 만드는 multi-agent framework PaperOrchestra와, 그 평가 benchmark PaperWritingBench를 함께 낸 논문이다. PaperWritingBench는 CVPR(컴퓨터 비전 학회) 2025와 ICLR(기계학습 학회) 2025 채택 논문 200편에서 아이디어 요약과 실험 기록을 거꾸로 뽑아 만든 입력 자료다. 문헌 조사 agent는 web 검색으로 찾은 후보 논문 가운데 Semantic Scholar API로 확인된 논문만 인용하고, 수정 agent는 모의 심사 점수가 내려가면 고치기 전 원고로 되돌린다. AI 연구자 11명이 논문 40편으로 판정한 side-by-side 비교에서 AI baseline 대비 승률 차이(PaperOrchestra 승률에서 baseline 승률을 뺀 값)는 문헌 조사 품질 50%에서 68%, 전체 원고 품질 14%에서 38%였다.

핵심 요약

• 문제: AI Scientist-v2 같은 연구 자동화 agent의 글쓰기 모듈은 자기 내부 pipeline이 앞서 만든 산출물에 기대므로, 사람이 준 아이디어와 실험 기록으로 원고를 쓰는 독립 도구로 쓰기 어렵다. 이런 agent는 단순 keyword 검색에 기대 인용이 적은 얕은 문헌 조사를 쓰고 그림도 코드로 그린 데이터 plot에 머물며, 자동 논문 작성을 따로 평가할 표준 benchmark도 없었다.
• 입력과 출력: 방법과 기여를 적은 아이디어 요약, 실험 결과와 ablation 수치를 모은 실험 기록, 학회 LaTeX template, 학회 지침을 받고, 그림은 주어지면 쓰고 없으면 새로 만든다. LaTeX source와 컴파일한 PDF를 한 쌍으로 낸다. 논문 종류는 구현된 multi-agent framework와, 그 평가용 benchmark PaperWritingBench를 함께 낸 논문이다.
• 방법: Outline Agent가 자료를 그림 계획, 문헌 검색 전략, 절별 작성 계획을 담은 JSON 개요로 바꾸면, Plotting Agent와 Literature Review Agent가 동시에 그림과 Introduction, Related Work를 만든다. 문헌 조사에서는 web 검색이 붙은 LLM이 후보 논문을 찾고, Semantic Scholar API에서 제목이 fuzzy match로 맞고 초록이 있으며 cutoff 날짜보다 앞선 논문을 남긴 뒤, Introduction과 Related Work를 쓸 때 모은 논문의 90% 이상을 인용하게 한다. Section Writing Agent가 실험 기록의 수치로 표를 만들어 나머지 절을 쓰고, Content Refinement Agent는 AgentReview의 모의 심사 의견으로 원고를 고쳐 전체 점수가 오르거나, 전체 점수가 같고 세부 점수 변화의 합이 0 이상일 때 고친 원고를 남긴다.
• 구현: PaperOrchestra와 모든 baseline의 글쓰기 backbone은 Gemini-3.1-Pro로 고정했고, 문헌 탐색은 Google Search grounding을 붙인 Gemini-3-Flash가 맡으며, 논문 한 편에 LLM 호출은 약 60에서 70번이고 무작위 10편을 worker 하나로 잰 평균 처리 시간은 39.6분이었다. PaperWritingBench는 CVPR 2025와 ICLR 2025 채택 논문 각 100편을 MinerU로 Markdown으로 바꾸고 PDFFigures 2.0으로 그림과 caption을 뽑은 뒤, Gemini-3.1-Pro로 아이디어 요약(개념 수준의 Sparse, 정의와 수식까지 담은 Dense)과 실험 기록을 거꾸로 뽑고 저자, 제목, 인용, URL을 지워 만들었다. 공식 GitHub 저장소 google-research/paper-orchestra에는 README 기준으로 실행 script paper_writing_cli.py, agent 코드(methods), 자동 평가 script(autoraters), 학회 LaTeX template, Streamlit demo가 있고, README는 논문 생성에 쓴 dataset이 이 저장소에 없으며 나중에 따로 공개한다고 적었다.
• 결과: 기본 설정인 sparse idea 입력에서 AI 연구자 11명이 논문 40편(학회별 20편, 비교 180회)을 판정한 side-by-side 평가의 승률 차이는 AI baseline(Single Agent, AI Scientist-v2) 대비 문헌 조사 품질 50%에서 68%, 전체 원고 품질 14%에서 38%였다. 같은 설정에서 원문 그림을 쓴 PaperOrchestra(PlotOff)의 ScholarPeer 모의 심사 채택률은 CVPR 84%, ICLR 81%로 가장 강한 autonomous baseline보다 13%와 9% 높았고, 사람이 쓴 원문은 86%와 94%였다. PlotOff 원고의 평균 인용 수는 45.73에서 47.98개였고, 원문은 약 59개, autonomous baseline은 평균 9에서 14개였다.
• 한계: 저자들은 그림 생성을 외부 PaperBanana에 맡겨 그림 속 hallucination(사실과 다른 내용)을 직접 통제하기 어렵고, 수정 단계가 구조화된 LLM 심사 의견으로 원고를 고치므로 연구자가 자연어 비평으로 초안을 이끄는 human-in-the-loop 방식은 후속 과제로 남았으며, 공개 논문으로 만든 benchmark라 사전학습 자료 오염 위험이 있다고 밝혔다. 문헌 조사 품질에서 autorater와 사람 판정의 상관은 Gemini-3.1-Pro가 Pearson 0.0868, GPT-5가 0.2764로 낮았다. 사람이 쓴 원문과의 차이도 남아, AI Scientist-v2 Reviewer로 잰 PaperOrchestra(PlotOff)의 모의 채택률은 CVPR 48.00%, ICLR 22.00%로 원문의 71.00%, 63.00%보다 낮았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.