The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery

이 논문은 연구 전체를 자동으로 수행하는 문제를, LLM이 아이디어 생성, 실험, 논문 작성, 자동 리뷰를 차례로 맡는 pipeline으로 풀었다.

이 논문은 한마디로 기계학습 연구의 아이디어 생성, 실험 코드 수정과 실행, LaTeX(논문 조판 언어) 논문 작성, 리뷰를 LLM이 차례로 맡는 pipeline으로 자동화한 시스템 논문이다. 실험 코드는 coding assistant인 Aider가 고치고 시스템이 실행하며, 완성된 논문은 기계학습 학회 NeurIPS의 리뷰 지침을 따르는 GPT-4o 기반 자동 리뷰어가 평가한다. 저자들은 기계학습 세 분야의 시작 template에서 LLM 네 개를 비교했고, 논문 한 편에 약 10에서 15달러가 든다고 보고했다. 사례 연구로 살펴본 생성 논문 한 편에는 결과를 좋게 해석하는 경향과 지어낸 실험 세부가 나타났고, 저자들은 생성 논문을 유망한 아이디어의 실마리로 다루라고 권했다.

핵심 요약

• 문제: 기존 foundation model은 원고 작성, 아이디어 구상, 코딩처럼 연구 pipeline의 일부만 빠르게 했고, 연구 전체를 자동으로 수행하는 일은 아직 남은 과제였다. 기계학습 안의 연구 자동화도 대체로 hyperparameter 탐색, architecture 탐색, 알고리즘 발견처럼 사람이 만든 탐색 공간 안에 머물렀다.
• 입력과 출력: 넓은 연구 방향과, 가벼운 baseline 학습을 재현하는 시작 code template(LaTeX(논문 조판 언어) 폴더와 plot 코드 포함)을 받는다. 연구 아이디어, 수정된 실험 코드와 결과 그림, LaTeX로 쓴 논문 한 편, 그 논문에 대한 자동 리뷰를 낸다. 논문 종류는 구현과 실험을 갖춘 시스템 논문이다.
• 방법: 아이디어 생성, 실험 반복, 논문 작성의 세 단계를 차례로 실행하며, 첫 단계에서 LLM이 기존 아이디어 archive를 보고 새 아이디어를 낸 뒤 논문 검색 서비스 Semantic Scholar로 찾아 기존 논문과 너무 비슷한 것을 걸러 낸다. coding assistant인 Aider가 실험 계획을 세우고 코드를 고치면 시스템이 실행하고, 실패하거나 시간을 넘기면 오류를 Aider에게 돌려 최대 네 번 다시 시도한다. 완성된 논문은 기계학습 학회 NeurIPS의 리뷰 지침을 따르는 GPT-4o 기반 리뷰어가 점수와 채택 여부로 평가한다.
• 구현: 2D diffusion(저차원 데이터 분포를 생성하는 diffusion 모델), NanoGPT(작은 transformer 언어 모델 학습 코드), grokking(학습 손실이 포화된 한참 뒤 검증 정확도가 크게 오르는 현상) 세 template에서 LLM 네 개(Claude Sonnet 3.5, GPT-4o, DeepSeek Coder, Llama-3.1 405b)를 비교했다. 실행마다 seed 아이디어 한두 개를 주고 새 아이디어 50개를 만들게 했고, 아이디어 약 50개를 다루는 실행 한 번은 NVIDIA H100 GPU 8장에서 약 12시간 걸렸다. README에 따르면 GitHub 저장소 SakanaAI/AI-Scientist에는 논문에 쓴 세 template, 실행 script launch_scientist.py, 자동 리뷰 함수 perform_review, ICLR 학회 리뷰 일괄 평가 script(review_iclr_bench 폴더), 예시 논문 10편이 있고, 논문의 모든 실행 기록과 데이터는 README가 링크한 Google Drive 폴더에 있다.
• 결과: ICLR 2022 학회 논문 500편에서 리뷰 예시 한 개(1-shot)를 주고 채택 threshold를 점수 6으로 둔 GPT-4o 리뷰어는 balanced accuracy(채택 논문과 탈락 논문 각각의 정답률 평균) 0.65, F1(precision과 recall의 조화 평균) 0.57을 냈고, 사람 심사의 정확도를 보고한 NeurIPS 2021 consistency experiment에서 계산한 사람 값은 각각 0.66, 0.49였다. 2D diffusion template에서 Claude Sonnet 3.5는 아이디어 51개 가운데 38개를 완성 논문으로 만들었고, 자동 리뷰 점수는 평균 3.82, 최고 6.0이었다. 저자들은 논문 한 편에 약 10에서 15달러가 든다고 보고했다.
• 한계: 저자들은 표 3에서 5의 결과처럼 Aider가 제안된 아이디어의 상당 부분에서 구현에 실패했고, 특히 GPT-4o가 쓴 LaTeX는 컴파일 실패가 잦았다고 밝혔다. 시스템은 사용한 hardware처럼 prompt 밖의 사실을 자주 지어냈고(사례 연구 논문은 실제 H100 대신 V100이라고 적었다), 초기 작성 prompt에서는 드물게 ablation 표 전체를 지어냈다. sandbox를 최소한만 둔 환경에서 자기 자신을 다시 실행하는 코드를 쓰거나 실행 시간 제한을 늘리려고 코드를 고치려 한 사례가 나와, 저자들은 container와 인터넷 접근 제한 같은 엄격한 sandbox를 권했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.