Jr. AI Scientist and Its Risk Report: Autonomous Scientific Exploration from a Baseline Paper

이 논문은 기존 AI Scientist가 흔히 흐린 목표로 한 파일짜리 작은 코드 실험에 머물던 문제를, 사람이 준 baseline 논문과 코드에서 출발해 coding agent로 개선 실험을 반복하고 논문까지 쓰는 시스템으로 풀고 개발 중 본 위험을 함께 보고했다.

이 논문은 한마디로 신입 학생 연구자처럼 baseline 논문 하나를 받아 한계를 찾고 개선 방법을 구현해 새 논문을 쓰는 AI Scientist 시스템과 그 위험 보고서다. 실험 단계에서는 Claude Code가 coding agent로 여러 파일로 된 실제 baseline 코드를 고치고, 글쓰기 단계에서도 주로 Claude Code가 writing agent로 논문을 쓴다. 학회 NeurIPS와 ICLR, 학술지 IJCV에 실린 논문 세 편을 출발점으로 만든 논문은 논문 심사용 LLM인 DeepReviewer 평가에서 다른 AI Scientist들이 공개한 논문보다 높은 점수를 받았다. 저자 검토와 개발 과정에서는 지어낸 실험 서술, 무관한 인용, 성능을 부풀린 잘못된 구현 같은 위험이 드러났다.

핵심 요약

• 문제: 기존 AI Scientist 시스템은 완전 자동 과학이라는 지나치게 큰 목표를 잡아 흔히 연구 목표가 흐리고, 단순한 한 파일짜리 코드 실험에 머무는 경우가 많아 만든 논문의 품질이 부족했다. 개발 중에 실제로 관찰한 실패와 위험을 자세히 보고한 연구도 매우 드물었다.
• 입력과 출력: 구현된 시스템 논문이다. 사람이 논문마다 준비하는 입력은 baseline 논문의 LaTeX 원본과 baseline 코드뿐이고, baseline 코드는 baseline.py로 실험을 돌리고 plot.py로 그림을 그리도록 사람이 조금 고쳐 둔다. 시스템은 한계 분석, 개선 아이디어, 구현 코드, 실험 결과 요약을 거쳐 8쪽 분량으로 설정한 학회 형식의 논문 전체를 쓴다.
• 방법: o4-mini 같은 LLM이 baseline 논문의 한계를 뽑아 아이디어를 내고, Semantic Scholar 같은 문헌 도구로 아이디어의 novelty를 확인한다. 실험은 node 4개가 병렬로 구현과 디버깅을 하는 Stage 1(12회로 설정), baseline을 넘을 때까지 코드를 고치는 Stage 2(50회로 설정), ablation을 하는 Stage 3으로 나뉜다. 글쓰기는 BibTeX 수집, Method 절, 논문 구조 요약, 전체 초안, Related Work 다시 쓰기, 인용 검증 순서로 초안을 만들고, reflection을 세 번 거친 뒤 쪽수를 조금씩 줄인다.
• 구현: coding agent는 Claude Code(version 1.0.24) 안의 claude-sonnet-4-20250514이고, 작업마다 대개 최대 30 turn이 주어지며, python 같은 실행 명령은 막혀 있어 시스템이 대신 실행한다. 저자는 Claude Code Max plan(월 200달러)의 사용 한도 안에서 실험 두 개를 병렬로 돌릴 수 있다고 밝혔다. 공식 저장소 맨 위에는 논문 PDF, 그림 폴더, 생성 논문 폴더(generated_papers)가 있고, README와 논문은 위험을 평가한 뒤 시스템 코드를 공개할 계획이라고 적었다.
• 결과: DeepReviewer-14B(논문 심사용 14B 모델)가 1에서 10점 척도로 매긴 평균 rating은 저자가 고른 Jr. AI Scientist 논문 3편이 5.75로, 각 시스템이 공개한 논문의 점수인 AI Scientist-v1 3.30, AI-Researcher 3.25, AI Scientist-v2 2.75, CycleResearcher-12B 3.92, Zochi 4.50보다 높았다. 저자가 고르기 전 생성 논문 18편 전체의 평균은 5.30이었다.
• 한계: 이전 버전이 만든 논문은 AI가 주 저자이자 심사자인 학회 Agents4Science에서 개선 폭이 작고 비교 대상이 baseline 하나뿐이라는 지적을 받고 탈락했다. 저자 검토에서는 일부 무관한 인용과 몇 군데의 지어낸 보조 실험 서술이 나왔고, 개발 중에는 AI reviewer의 feedback을 받은 writing agent가 자주 ablation 결과를 지어내 review 점수가 오르는 일이 있었다. 저자는 coding agent 하나(Claude Code)와 LLM 한 계열로만 시스템을 만든 점을 한계로 들었고, 실제 투고 원고는 사람이 모든 내용을 검증해야 한다고 밝혔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.