Why LLMs Aren't Scientists Yet: Lessons from Four Autonomous Research Attempts

이 논문은 LLM이 연구 아이디어에서 논문까지 스스로 갈 수 있는지를 agent 6개짜리 pipeline으로 네 번 시도해, 실패 3건과 학회 채택 1건에서 반복된 실패 유형과 설계 원칙을 정리했다.

이 논문은 한마디로 LLM agent로 연구 아이디어에서 ML 논문까지 가 보려 한 네 번의 시도를 기록한 사례 연구다. Gemini 2.5 Pro 기반 agent 6개가 아이디어, 가설, 실험 계획, 출력 평가, revision, 논문 개요를 맡고 Claude Code가 코드 구현과 원고 작성을 맡았다. 4건 가운데 3건은 실행이나 평가 단계에서 실패했고, jailbreak 탐지 연구 1건이 AI를 제1저자로 요구한 학회 Agents4Science 2025에 채택됐다. 저자들은 학습 데이터의 기본값으로 돌아가기, 실행이 막히면 구현을 단순화하는 implementation drift, 긴 작업의 memory 손실, 실패에도 성공을 선언하는 overexcitement 같은 실패 유형 6가지와, 모든 단계 검증(Verify Everything)과 전부 기록(Log Everything) 같은 설계 원칙 4가지를 정리했다.

핵심 요약

• 문제: 저자들은 최신 reasoning LLM이 높은 자율성, 최소한의 코드 scaffolding, 가장 기본적인 tool로 연구 아이디어에서 논문까지 갈 수 있는지를 묻는다. 여러 AI Scientist 시스템은 분야별 workflow를 미리 정해 두거나 문제 설정을 시스템에 맞춰 두었고, Sakana의 tree search 방식을 쓰려면 복잡한 meta-orchestration이 필요했으며, AlphaEvolve는 사람 전문가가 미리 정한 검증 지표가 있어야 한다. 범위는 실험을 전부 컴퓨터 안에서 할 수 있는 머신러닝 연구로 좁혔다.
• 입력과 출력: 한 하위 분야의 논문 두 편을 받아 아이디어를 만들고, 가설, 실험 계획, 코드, 실험 출력을 거쳐 ML 논문 원고를 내는 것이 목표다. 논문 종류는 직접 만든 시스템으로 네 번 시도한 사례 연구(case study)이고, World Models, multi-agent RL, AI 안전과 alignment의 세 분야에서 135편이 넘는 논문으로 시작해 아이디어 4개를 골라 처음부터 끝까지 가는 시도를 했다.
• 방법: Idea Generation, Hypotheses Generation, Experiments Planning, Experimental Output Evaluation, Revision, Paper Outlining의 agent 6개가 연구 단계를 나눠 맡는다. Experiments Planning Agent가 만든 plan.md와 agent.md를 받아 Claude Code가 코드를 짜고 Modal(클라우드 실행 환경)에서 실행하며, 모든 산출물은 아이디어마다 둔 repository에 파일로 남고 각 agent는 그 repository 상태를 prompt로 받아 read file, write file, list files, llm search 네 tool로 일한다. Experimental Output Evaluation Agent는 주로 가설 구현 충실도와 통계적 타당성을 검토하고, 실패로 판정되면 Revision Agent가 아이디어 수정, 가설 수정, LLM mentor 의견 요청 가운데 다음 단계를 고른다.
• 구현: agent 6개는 모두 Gemini 2.5 Pro를 썼고 저자들은 주로 긴 context 때문에 골랐다고 밝혔으며, 코드 구현과 논문 작성은 Claude Code가 Claude Opus 4.1과 Claude Sonnet 4로 맡았다. 아이디어는 분야마다 논문 약 45편에서 50편을 모아 분야당 최대 15개를 만든 뒤 Claude Opus 4.1로 돌린 zero-shot 검토 prompt 4개로 추렸고, 먼저 시도한 아이디어 3개는 원 논문 저자의 의견을 받아, 마지막 아이디어는 앞선 시도의 교훈을 반영한 내부 검토로 골랐다. 공식 저장소 README 기준으로 실패 3건과 성공 1건의 아이디어 폴더 4개, 그리고 아이디어 생성, 가설 생성, 실험 계획, 논문 작성 단계의 prompt가 올라와 있고, 저자들은 전체 시스템 구조 대신 prompt와 일부 출력만 공개했다고 밝혔다.
• 결과: 4건 가운데 3건은 실행이나 평가 단계에서 실패했고, AS-1(semantic entropy로 jailbreak 탐지)만 AI를 제1저자로 요구한 Agents4Science 2025에 채택됐다(유효 제출 254편 가운데 48편 채택). 저자들이 꼽은 실패 유형 6가지는 낡은 라이브러리 설치 같은 학습 데이터 기본값으로 돌아가기, implementation drift, 긴 작업의 memory와 context 손실, overexcitement, 분야 지식 부족, scientific taste 부족이고, 예로 stochastic world model에 differentiable tree search를 붙이려던 WM-1에서는 시간 제한에 걸린 Claude Code가 tree search를 actor-critic 방식으로 바꿨고 실험은 seed 1개로 돌았다. 이를 바탕으로 Start Abstract, Ground Later(추상에서 시작해 나중에 구체화), Verify Everything, Plan For Failure and Recovery, Log Everything의 설계 원칙 4가지를 제시했다.
• 한계: 저자들은 범위가 실험을 전부 컴퓨터 안에서 하는 ML 연구로 한정되고, 세 하위 분야의 아이디어 4개를 여러 구현 가운데 최선을 고르는 best-of-N 대신 구현 하나로 진행했으며, 학회 제출이 주목적이라 구조 변경 이력을 체계적인 ablation으로 남기는 일이 빠져 성공 1건과 실패 3건을 가른 변경을 가려내기 어렵다고 밝혔다. 실패 유형은 정성 관찰로 정리했고, 공개물은 전체 시스템 구조 대신 prompt와 일부 출력이다. AS-1의 실험 설계, 실행, 작성은 AI 비중 95% 이상으로 매겨졌지만, 아이디어 검토, 논문 작성, 실행 중 meta-prompting에는 사람이 개입했고 실패한 실험 대부분도 사람이 중단했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.