AI for Auto-Research: Roadmap & User Guide

이 논문은 연구 자동화 도구가 단계별로 따로 평가되어 AI를 어디까지 믿을지 판단하기 어려운 문제를, 연구 전 과정을 4개 phase와 8개 stage로 나눠 단계별 도구와 benchmark 결과를 모으는 방법으로 정리했다.

이 논문은 한마디로 AI가 연구 전 과정의 어느 단계에서 믿을 만하게 돕고 어디서 실패하는지 정리한 survey다. 저자들은 연구를 Creation, Writing, Validation, Dissemination의 4개 phase와 8개 stage로 나누고, 단계마다 도구, benchmark, 평가 방법, 한계를 모았다. 저자들의 결론은 AI가 산출물을 만드는 속도가 그 산출물을 검증하는 능력을 앞지르고, 지금은 사람이 판단과 책임을 맡는 협업 방식이 가장 믿을 만하다는 것이다. 함께 공개한 GitHub 저장소는 연구 단계별로 논문을 모은 목록이다.

핵심 요약

• 문제: The AI Scientist가 논문 한 편을 약 15달러에 만들 만큼 AI는 연구 산출물을 빠르게 내지만, 그 산출물이 새롭고, 근거에 충실하고, 실행 가능한지 검증하는 능력은 크게 뒤처져 있다. 저자들은 단계별 도구는 빠르게 늘었지만 연구 전 과정을 한 번에 분석한 연구는 부족해, AI가 어디서 믿을 만하게 돕고 어디서 실패하는지 판단하기 어렵다고 본다.
• 조사 범위: 이 논문은 2026년 6월까지 나온 연구 자동화 연구를 정리한 survey다. 저자들은 Google Scholar, Semantic Scholar, arXiv, DBLP 키워드 검색, 인용 추적, 오픈소스 저장소 감시로 자료를 모으고, 연구 단계를 하나 이상 다루며 공개되어 있고 분석할 세부가 있는 도구, 방법, benchmark만 넣었다. 산출물은 분류 체계, 단계별로 정리한 benchmark 표, 단계별 도구 목록, 단계를 가로지르는 설계 원칙이다.
• 분류: 연구 과정을 4개 phase와 8개 stage로 나눴다. Creation은 아이디어 생성, 문헌 조사, 코딩과 실험, 표와 그림이고, Writing은 논문 작성, Validation은 peer review와 rebuttal 및 수정, Dissemination은 포스터, 슬라이드, 영상, 소셜 미디어, 프로젝트 페이지, 대화형 paper agent다. 방법은 prompt engineering, RAG(검색 증강 생성), training-free agentic, training-based, hybrid 다섯 계열로 나누고 단계마다 주로 쓰이는 계열을 표로 대응시켰다.
• 구현: 저자들이 공개한 것은 GitHub 논문 목록이다. 공식 GitHub 저장소 worldbench/awesome-ai-auto-research의 README는 단계별로 논문, 학회, 웹사이트, GitHub 링크를 표로 정리하고, 저장소 맨 위에는 LICENSE, README.md, docs, index.html이 있다. README 끝에는 마지막 갱신일이 2026-10-11로 적혀 있고, 원문 v2 이후에 나온 논문도 들어 있다.
• 근거: 저자들이 모은 결과로는 SWE-bench Verified에서 최고 시스템이 76%를 넘지만, 새 ML(기계학습) 연구 코드 과제 212개로 된 ResearchCodeBench에서 최고 모델은 37.3%에 머물렀다. 단독 LLM(대규모 언어 모델) 리뷰어는 사람보다 높은 점수(6.86 대 5.70)를 주고 떨어진 논문의 95.8%를 합격 가능으로 분류했다. 리뷰 22,467건을 다룬 ICLR 2025 무작위 연구에서는 사람 리뷰에 LLM 피드백을 주자 89% 사례에서 리뷰 품질이 올라갔고 합격률은 그대로였다.
• 한계: 저자들은 이 글이 검색 마감 시점까지의 정리이고, AI가 만든 연구 산출물은 학술 용도로 사용하기 전에 따로 검증해야 한다고 밝혔다. 모은 자료는 Creation 단계에 몰려 있고, 대부분의 시스템과 benchmark가 컴퓨터 과학, 기계학습, NLP에 집중되어 화학, 생물, 의학 같은 분야로의 일반화는 열린 문제로 남았다. 저자들은 시스템마다 기반 모델, prompt, tool, 데이터, 계산 예산이 달라 보고된 결과끼리 비교하기 어렵다고도 짚었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.