The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree Search

이 논문은 새 주제마다 사람이 코드 template을 써 줘야 했던 AI Scientist-v1의 한계를, 실험을 단계별로 관리하는 experiment manager agent가 이끄는 병렬 agentic tree search와 VLM(Vision-Language Model, 그림과 글을 함께 읽는 모델)의 그림 검토로 풀었다.

이 논문은 한마디로 넓은 주제 prompt에서 출발해 아이디어, 실험, 그림, 논문 원고, 검토까지 자동으로 하는 연구 agent 시스템의 두 번째 버전이다. 사람이 쓴 코드 template 대신 experiment progress manager(실험 네 단계를 관리하는 agent)가 단계마다 tree search로 Python 실험 코드를 만들어 고치고, VLM이 실험 그림과 원고의 그림 caption을 검토한다. 이 시스템이 만든 원고 3편을 ICLR(머신러닝 학회) 2025의 ICBINB(I Can't Believe It's Not Better) workshop에 냈고, 그중 1편이 평균 6.33점으로 채택 threshold를 넘었다. 저자들의 자체 검토에서는 3편 모두 주요 학회 본 트랙 기준에 모자랐고, 채택 원고의 생성 코드로 데이터를 10번 다시 만들어 보니 평균 약 57%의 test 예제가 training set과 겹쳐 dataset 중복 가능성이 드러났다.

핵심 요약

• 문제: AI Scientist-v1은 새 주제마다 사람이 baseline 코드 template을 써 줘야 했고, 직전 실험을 바로 이어 고치는 선형(linear) 방식이라 가설 탐색이 얕았다. 저자들은 v1의 자동 연구가 자주 근시안적인 실험으로 끝났다고 관찰했다.
• 입력과 출력: workshop 주제 설명 같은 넓은 주제 prompt를 받아 연구 아이디어를 JSON(제목, 짧은 가설, 관련 연구, 초록, 실험 계획, 위험 요인과 한계)으로 쓰고, 실험 코드와 결과 그림을 거쳐 LaTeX로 쓴 완성 원고를 낸다. 논문 종류는 실제로 구현해 실험한 시스템 논문이다.
• 방법: 아이디어 단계에서 LLM이 Semantic Scholar 같은 문헌 검색 tool로 참신성과 관련 연구를 확인한다. experiment progress manager는 실험을 예비 조사, hyperparameter 조정, 연구 계획 실행, ablation의 4단계로 나누고, 단계마다 LLM evaluator(후보 node를 비교해 고르는 LLM)가 고른 최고 node를 다음 단계의 root로 넘긴다. node마다 LLM이 계획과 Python 코드를 써서 실행하고, 실행 오류가 나거나 VLM이 그림 문제를 짚은 node는 buggy로 표시해 정해진 확률로 골라 debugging하며, 나머지 경우에는 정상 node를 LLM이 이끄는 best-first 방식으로 골라 병렬로 개선한다.
• 구현: 실험 코드 생성에는 Claude 3.5 Sonnet(v2)을, LLM과 VLM feedback agent에는 GPT-4o를 썼고, node 수는 1단계 21개, 2단계부터 4단계까지 각 12개, node 하나의 실행 시간은 최대 1시간이며, 저자들의 경험상 논문 한 편에는 대개 몇 시간에서 상한인 15시간까지 걸렸다. dataset은 가능할 때 Hugging Face Hub에서 datasets.load_dataset으로 내려받게 했고 저자들은 지원 여부가 저장소마다 달라 이 방식이 다소 임시방편이라고 밝혔으며, 해충 탐지 원고의 dataset은 저자들이 Kaggle에서 직접 받았다. 공식 GitHub 저장소 README 기준으로 아이디어 생성 script, tree search 실행 script와 설정 파일(bfts_config.yaml)이 공개됐고, tree search 부분은 AIDE(LLM 코드 생성과 tree search를 합친 기존 시스템) 위에 만들었다.
• 결과: 저자들은 시스템이 만든 원고 3편을 ICLR 2025 ICBINB workshop에 냈고, 3편은 workshop이 받은 전체 43편 속에서 blind 심사를 받았다. compositional regularization을 다룬 1편이 평균 6.33점(6, 6, 7점)으로 채택 threshold를 넘어 제출작 상위 약 45%에 들었고, label noise와 해충 탐지를 다룬 나머지 2편은 떨어졌다. 채택된 원고는 사전 합의대로 심사 뒤 철회됐다.
• 한계: 채택은 workshop 수준에서 3편 중 1편이었고, 저자들은 workshop 채택률(대개 60%에서 80%)이 주요 학회 본 트랙(20%에서 30%)보다 높다고 밝혔다. 사람은 시스템이 두 번에 걸쳐 약 20개씩 낸 아이디어에서 3개를 고르고, 아이디어마다 seed별 원고 가운데 가장 좋은 원고를 고르고, 해충 탐지 원고의 dataset을 Kaggle에서 내려받아 크기를 1/10로 줄여 넣었으며, 실험은 성공 비율 대신 심사를 통과하는 원고가 1편이라도 나오는지를 봤다. 저자들의 자체 검토에서 3편 모두 본 트랙 기준에 모자랐고, 채택 원고에서는 그림 caption 오류와 dataset 중복 가능성이 나왔는데, 생성 코드로 덧셈과 곱셈, 숫자 0에서 9, training 1,000개와 test 200개 조건의 데이터를 10번 다시 만들면 평균 약 57%의 test 예제가 training set과 겹쳤고 원래 실험은 숫자 1에서 9를 썼다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.