DeepScientist: Advancing Frontier-Pushing Scientific Findings Progressively

이 논문은 기존 AI Scientist가 분명한 목표 없이 기존 지식을 다시 조합하는 문제를, 사람이 만든 SOTA 방법을 출발점으로 삼고 Bayesian Optimization 방식으로 가설을 골라 구현하고 검증하는 loop로 풀었다.

이 논문은 한마디로 사람이 만든 SOTA 방법을 출발점으로 삼아 그보다 나은 방법을 한 달 단위의 기간 동안 스스로 찾고 검증하는 목표 지향 AI Scientist 시스템이다. 연구를 Bayesian Optimization 문제로 보고, 가설 생성과 평가, 구현과 검증, 분석과 보고의 세 단계를 Findings Memory와 함께 반복한다. 저자들은 20,000 GPU 시간 넘게 써서 아이디어 약 5,000개를 만들고 약 1,100개를 실험으로 검증했으며, 세 과제에서 사람이 만든 SOTA를 183.7%, 1.9%, 7.9% 넘었다고 보고했다. SOTA를 넘는 진전으로 이어진 아이디어는 21개였고, 실패 표본의 약 60%는 구현 오류에서 나왔다.

핵심 요약

• 문제: 기존 AI Scientist 시스템은 새로운 결과를 낼 수 있지만, 분명한 과학 목표가 없으면 기존 지식과 방법을 무작정 다시 조합해 사람이 보기에 가치가 낮은 결과를 내는 일이 많았다. 최전선 연구에서는 아이디어 하나를 평가하는 데 구현, 실험, 분석의 전체 연구 cycle이 들어 평가 한 번의 비용이 매우 크다.
• 입력과 출력: 사람이 만든 SOTA 방법을 손으로 재현한 코드 저장소(실행 기록과 test script 포함), 높일 성능 지표, 관련 논문과 코드를 받는다. 지표를 높이는 새 방법의 구현과 실험 기록, Findings Memory에 쌓인 아이디어와 검증 결과, 성공한 방법을 정리한 연구 논문을 낸다. 논문 종류는 구현과 실험을 갖춘 시스템 논문이다.
• 방법: 연구를 평가 비용이 큰 black-box 함수의 최대화, 곧 Bayesian Optimization 문제로 놓고 세 단계 loop를 반복한다. 가설 단계에서는 LLM 리뷰어가 surrogate model(값싼 대리 평가 모델)로서 새 가설마다 유용성, 품질, 탐색 가치를 0에서 100점으로 매기고, 검증 단계에서는 UCB(Upper Confidence Bound) 점수가 가장 높은 가설을 coding agent가 SOTA 저장소 위에 구현해 실험한다. baseline을 넘은 가설만 분석 단계로 올라가 ablation 같은 추가 실험과 논문 작성을 거치고, 모든 결과는 Findings Memory에 기록되어 다음 cycle의 판단에 쓰인다.
• 구현: Nvidia H800 GPU 8장짜리 서버 두 대에서 GPU마다 시스템 instance를 따로 띄웠고, 핵심 판단은 Gemini-2.5-Pro가, 코드 구현은 Claude Code(v1.0.53) 안의 Claude-4-Opus가 각각 다른 Docker container에서 맡았다. Claude Code가 완료를 보고하면 DeepScientist가 main script를 다시 실행해 확인했고, 사람 전문가 세 명이 출력을 확인하며 hallucination을 걸러 냈다. 공식 저장소 ResearAI/DeepScientist의 README는 이 저장소를 npm으로 설치해 Codex, Claude Code, Kimi Code, OpenCode runner와 함께 쓰는 local-first 연구 workspace로 설명하고, 논문 본문은 Analyze & Report module을 공개하지 않겠다고 밝혔다.
• 결과: Who&When의 agent 실패 원인 찾기(failure attribution)에서 A2P의 정확도는 handcraft 설정 29.31%, algorithm-generated 설정 47.46%로 기존 SOTA인 All at Once의 12.07%, 16.67%보다 높았다. LLM 추론 가속(MBPP)에서 ACRA는 초당 token을 190.25개에서 193.90개로 늘렸고, AI 생성 글 판별(RAID)에서 PA-Detect는 AUROC를 0.800(Binoculars)에서 0.863으로 올리며 지연 시간을 117ms에서 60ms로 줄였다. 사람 심사단 세 명은 생성 논문 5편에 평균 rating 5.00을 주어 ICLR 2025 제출 논문 평균 5.08에 가까웠고, 두 편은 5.67을 받았다.
• 한계: 5,000개가 넘는 아이디어 가운데 약 1,100개를 검증해 21개만 SOTA를 넘었고, 선택 단계 없이 과제마다 아이디어 100개를 무작위로 시험하면 성공률이 사실상 0이었으며, 선택 단계를 넣어도 약 1에서 3%였다. 사람 전문가가 실패 표본 300개를 분석한 결과 약 60%는 구현 오류로 중간에 멈췄고, 사람 심사단은 표준 benchmark 평가, ablation, 필수 baseline 비교가 부족하다고 지적했다. 저자들은 사전 학습이나 의약품 합성처럼 시도 비용이 큰 연구에는 이 방식이 아직 현실적이지 못하다고 보았고, 이번 결과에 든 전체 비용은 약 100,000달러였다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.