Agent Laboratory: Using LLM Agents as Research Assistants

사용자 아이디어를 문헌 검토, 실험, 코드, LaTeX 보고서로 전환하는 실용적인 인간 참여형 연구 에이전트 시스템으로, 완전한 자율성에 여전히 인간 검증이 필요한 이유를 보여준다.

Agent Laboratory는 인간이 제공한 연구 아이디어에서 출발하여 문헌 검토, 실험, 보고서 작성의 3단계 파이프라인을 실행하는 오픈소스 다중 에이전트 프레임워크다. 박사과정생, 박사후연구원, ML 엔지니어, 교수 같은 역할을 할당하며, ML 코드를 반복적으로 작성·실행·채점·수리·성찰하는 mle-solver와, 자동화된 리뷰 피드백으로 LaTeX 스타일 논문을 초안 작성하고 수정하는 paper-solver를 둔다. alphaXiv 개요는 o1-preview가 전반적으로 가장 강력한 연구 산출물을 만들었고, 인간 co-pilot 피드백이 자율 실행보다 논문 품질을 향상시켰으며, 시스템이 논문당 비용을 약 2.33달러로, 워크플로를 약 19.4분으로 줄였다고 보고한다. mle-solver는 또한 MLE-Bench에서 메달을 획득하고 10개 과제 중 6개에서 중위 인간 성능을 능가했지만, 자동 리뷰어가 인간 평가자에 비해 품질을 상당히 과대평가하여, 환각, 편향, 평가 신뢰성이 핵심 한계로 남았다.

핵심 요약

• 파이프라인 측면에서 인간의 연구 아이디어가 선별된 arXiv 문헌 검토, 실험 계획, 실행 가능한 ML 코드, 그리고 최종 연구 보고서와 코드 저장소로 변환된다.
• 방법으로 특화된 LLM 에이전트가 박사과정생, 박사후연구원, ML 엔지니어, 교수 역할에 걸쳐 협력한다. mle-solver는 교체 및 편집 연산, 실행 피드백, LLM 채점, 자기 성찰, 그리고 고득점 프로그램 풀을 사용한다.
• 결과적으로 o1-preview가 전반적으로 가장 높은 점수를 받았고, co-pilot 모드는 인간 평가 품질을 10점 만점에 3.8에서 4.38로 향상시켰으며, gpt-4o 실행은 논문당 약 2.33달러로 보고되어 기존 자율 연구 방법 대비 84% 비용 절감을 보였다.
• 유의할 점은 자동 NeurIPS 스타일 리뷰가 평균 10점 만점에 6.1점이었던 반면 인간 리뷰어는 평균 3.8점이었으므로, 이 시스템은 신뢰할 수 있는 자율 과학자라기보다 연구 보조자로 보는 것이 적절하다는 것이다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.