AI-Researcher: Autonomous Scientific Innovation

이 논문은 연구 전 과정을 한 번에 자동화하기 어려운 문제를 역할별 multi-agent pipeline과 평가용 benchmark Scientist-Bench로 풀었다.

이 논문은 한마디로 참고 논문을 받아 아이디어, 코드, 실험, 논문까지 만드는 연구 자동화 multi-agent 시스템과 그 평가 benchmark다. 평가 benchmark Scientist-Bench는 2022년부터 2024년까지의 AI 논문 22편을 ground-truth 논문으로 삼는다. 생성 코드 평가에서 Claude 계열 모델로 돌린 시스템은 completeness(inference budget 안에 실행 가능한 코드를 낸 비율) 93.8%를 기록했다. 생성 논문은 LLM judge가 ground-truth 논문과 짝지어 비교했고, 대체로 낮은 점수를 받았으며 지시문 없이 스스로 방향을 정한 Level-2 과제에서 비교할 만하다는 판정 비율이 더 높았다.

핵심 요약

• 문제: 문헌 분석이나 실험 설계를 맡는 시스템은 있지만, 가설 생성부터 논문 수준 보고서까지 연구 전 과정을 잇는 시스템은 부족하다고 저자들은 보았다. 여러 분야에서 자율 연구를 재는 표준 benchmark도 없어서 진전을 체계적으로 재기 어렵다고 밝혔다.
• 입력과 출력: 이 논문은 연구 전 과정을 자동화하는 multi-agent 시스템 AI-Researcher와 평가 benchmark Scientist-Bench를 함께 낸 시스템 논문이다. Scientist-Bench는 2022년부터 2024년까지의 논문 22편을 ground-truth 논문으로 두고, 시스템에 참고 논문 15편에서 20편, 연구 지시문, dataset을 준다(Level-2 과제는 지시문을 빼고 준다). 시스템은 구현 코드와 배경, 방법, 실험, 결과를 담은 기술 보고서를 낸다.
• 방법: Knowledge Acquisition Agent가 GitHub 저장소를 5개 이상 고르고 해당 arXiv LaTeX 원문을 모으면, Resource Analyst가 아이디어를 atomic concept(더 쪼갤 수 없는 연구 개념)으로 나눠 수식과 코드 구현을 짝짓는다. Idea Generator는 연구 방향 다섯 개를 낸 뒤 가장 유망한 하나를 발전시키고, Code Agent와 Advisor Agent는 학생과 지도교수처럼 구현과 feedback을 되풀이한다. Documentation Agent는 개요 작성, 본문 작성, checklist 검토 세 단계로 논문을 쓴다.
• 구현: 분석과 실행은 모두 Docker container 안에서 돌고, 시험 구현은 보통 1에서 2 epoch나 작은 data subset으로 먼저 돌린 뒤 전체 실험으로 넘어간다. 평가에 쓴 paper review agent(두 논문을 비교해 점수를 매기는 agent)는 ICLR(International Conference on Learning Representations) 2021년부터 2023년까지의 채택, 탈락 논문 32쌍에서 채택 논문에 더 높은 점수를 준 비율이 LLM judge에 따라 65.62%에서 90.62%였다. README 기준으로 GitHub 저장소에는 research_agent와 paper_agent 코드, benchmark 데이터와 수집 과정(benchmark, benchmark_collection 폴더), Dockerfile, gradio 기반 web GUI(graphical user interface), 생성 예시 논문과 코드(examples 폴더)가 있고, README는 실행용 Docker 이미지(tjbtech1/airesearcher:v1)를 내려받거나 Dockerfile로 직접 만드는 방법을 안내한다.
• 결과: Claude 계열 모델로 benchmark 전체를 돌렸을 때 completeness(inference budget 안에 실행 가능한 코드를 낸 비율)는 93.8%였고, Advisor Agent의 분석을 바탕으로 Judge Agent가 1에서 5점으로 매긴 correctness는 평균 2.65점이었다. 다섯 LLM judge가 생성 논문과 ground-truth 논문을 짝지어 -3에서 3으로 매긴 Level-1 비교(Table 2)에서 -1.0 이상을 받은 비율은 judge에 따라 13.64%에서 81.82%였다. 지시문 없이 수행한 Level-2 비교(Table 3)에서는 같은 비율이 50.00%에서 100.00%였다.
• 한계: 실패 사례 분석에서 생성 연구는 주로 일반적인 기법과 표준 수식에 기대고 이론 분석이 얕았으며, 한 Level-1 지식 그래프 추천 과제에서는 사람 연구자가 쓴 Gumbel reparameterization을 놓쳤다고 저자들이 밝혔다. 현재 구현은 외부 memory 시스템 대신 LLM의 context window와 이전 단계 요약으로 정보를 이어 가고, 저자들은 LLM judge가 내용보다 표현을 높게 치는 경향도 지적했다. 실험 범위는 네 AI 분야의 22편(Level-2는 Table 1 기준 6개 과제)이며, 본문 4.3절과 4.4절의 요약 범위는 Table 2, Table 3 값과 다르다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.