Evaluating Sakana's AI Scientist: Bold Claims, Mixed Results, and a Promising Future?

이 논문은 연구 전 과정을 자동화한다는 Sakana AI Scientist의 주장을 직접 실험으로 확인한 독립 평가가 나오기 전이던 문제를, 추천 시스템 주제로 시스템을 직접 돌려 아이디어, 실험, 원고, review, 비용을 단계별로 측정하는 방식으로 풀었다.

이 논문은 한마디로 Sakana의 AI Scientist를 녹색 추천 시스템(Green Recommender Systems) 주제로 직접 돌려 보고, 그 결과와 IR(Information Retrieval, 정보 검색) 학계에 대한 제언을 낸 독립 평가 사례 연구다. AI Scientist는 아이디어 12개를 모두 새롭다고 판정했고 그 가운데 5개(42%)는 코딩 오류로 실행에 실패했으며, 실행된 7개로 쓴 원고의 참고문헌은 중앙값 5개에 전체 34개 가운데 2020년 이후 것이 5개였다. 저자들은 원고 품질을 마감에 쫓긴 학부생 과제 수준으로 보았지만, 원고 한 편에 비용 6달러에서 15달러와 사람 작업 약 3.5시간이 드는 속도와 비용은 주목할 만하다고 평가했다.

핵심 요약

• 문제: Sakana는 AI Scientist가 아이디어 생성, 실험 설계와 실행, 결과 분석, 논문 작성, 심사까지 연구 전 과정을 자동화한다고 내세웠고 큰 주목을 받았지만, 저자들이 아는 한 직접 실험에 기반한 포괄적 독립 평가는 아직 나오기 전이었다. 저자들은 가장 긍정적인 평가자들이 시스템을 직접 시험하는 대신 Sakana가 낸 자료에만 기댔다고 지적했다.
• 입력과 출력: AI Scientist를 직접 설치해 돌려 본 독립 평가 사례 연구이며, 뒷부분은 IR 학계에 대한 제언(position)이다. 입력은 저자들이 만든 template으로, 녹색 추천 시스템 주제의 prompt, MovieLens-100k를 80/10/10으로 나눠 FunkSVD를 학습하고 RMSE(평균 제곱근 오차)로 평가하는 experiment.py와 plot.py, seed idea 두 개(SGD(stochastic gradient descent)의 적응 학습률, e-fold 교차 검증), Sakana 기본 LaTeX template이다. AI Scientist는 아이디어 10개와 각 novelty 판정, LLM 기반 coding assistant Aider가 고친 실험 코드, 논문 원고, 자체 review를 냈고, 저자들은 이 산출물을 단계별로 세고 문헌과 대조해 평가했다.
• 방법: 단계마다 AI Scientist의 동작을 따로 측정했다. 아이디어 단계에서는 Semantic Scholar API로 검색어마다 최대 10개 결과를 최대 10번까지 보는 novelty 판정이 알려진 기법을 걸러 내는지 보고, 실험 단계에서는 Aider가 experiment.py를 최대 다섯 번 고칠 때 바뀐 글자 수와 실행 성공 여부를 셌다. 원고 단계에서는 쪽수, 참고문헌 수와 연도, 구조 오류, 수치 오류를 보고, review 기능은 자기 원고 7편과 OpenReview의 사람 논문 10편(채택 5편, 탈락 5편)에 적용해 사람 심사 결과와 비교했으며, 비용과 사람 작업 시간도 기록했다.
• 구현: 설치, 코딩, 실험은 기초 ML 지식과 Python 실력을 갖춘 컴퓨터 과학 학부 3학년인 셋째 저자가 했고, foundation LLM은 gpt-4o-2024-05-13을 썼다. 주 실험은 대학 computing cluster에서 CPU로 돌아가는 FunkSVD로 했고, 저자들은 실험을 재현하는 자기 코드와 Singularity container 정의 파일을 공개했다고 밝혔다. 이 기록에 연결한 GitHub 저장소 SakanaAI/AI-Scientist는 평가 대상인 AI Scientist의 저장소로, README 기준으로 NanoGPT, 2D Diffusion, Grokking template, 논문 생성 script launch_scientist.py, LLM 논문 review 기능이 있고 NVIDIA GPU와 CUDA(NVIDIA의 GPU 연산 platform), PyTorch를 쓰는 Linux 환경을 전제로 한다.
• 결과: AI Scientist는 생성한 아이디어 10개와 seed idea 2개를 모두 새롭다고 판정했는데 SGD micro-batching처럼 이미 알려진 기법도 들어 있었고, 아이디어 12개 가운데 5개(42%)는 코딩 오류가 남아 실행에 실패했으며, Aider는 6,260자 template에 평균으로 첫 iteration에서 529자(+8%), 이어서 118, 83, 66, 21자를 더했다. 원고 7편의 참고문헌은 중앙값 5개였고 전체 34개 가운데 2020년 이후 것은 5개(14.7%)였으며, 4편(57%)은 빠지거나 잘못 놓인 그림, 'Conclusions Here' 같은 미완성 절, 중복 같은 구조 문제를, 4편(57%)은 틀리거나 지어낸 수치를 담았다. 자체 review 기능은 OpenReview 사람 논문 10편 가운데 9편을 탈락시켜 사람 심사에서 채택된 4편도 떨어뜨렸고, 주 실험 비용은 OpenAI API 비용만 셀 때 42달러(원고당 평균 6달러), 사람 작업은 설치를 빼고 원고당 약 3.5시간이었다.
• 한계: 저자들은 dataset 하나(MovieLens-100k), 연구 분야 하나(녹색 추천 시스템), 고정된 seed idea와 template 하나로 평가해 일반화와 재현성에 영향이 있을 수 있다고 밝혔다. 설치와 실험은 학부생 한 명이 했고 foundation LLM은 gpt-4o-2024-05-13 하나였으며, AI Scientist가 GPU deep learning pipeline에 맞춰져 있는데도 CPU용 단순 추천 알고리즘으로 시험했다. 사람 논문 review 시험은 10편 규모라 저자들도 indicative(참고 수준)라고 했고, 사람 연구자보다 약 3배에서 11배 빠르다는 비교는 학부생 최소 20시간에서 40시간, 숙련 연구자 10시간에서 20시간이라는 저자 추정에 기댄다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.