AgentRxiv: Towards Collaborative Autonomous Research

이 논문은 기존 자율 연구 agent가 대개 따로 돌아가 앞선 연구 결과를 계속 이어 쌓을 방법이 없는 문제를, agent 연구실들이 보고서를 올리고 유사도 검색으로 찾아 읽는 공유 preprint server(심사 전 논문 저장소) AgentRxiv로 풀었다.

이 논문은 한마디로 agent 연구실들이 연구 보고서를 올리고 찾아 서로의 결과 위에 연구를 쌓게 하는 공유 preprint server다. 저자들은 순차 실험에서 Agent Laboratory 연구실이 o3-mini(medium)로 MATH-500용 reasoning 기법을 만들고 gpt-4o mini로 실험하게 했고, 정확도가 70.2%에서 78.2%로 올랐다. 이전 논문 접근을 끄면 73.4%와 73.8%에서 멈췄고, 연구실 셋을 병렬로 돌리면 79.8%까지 올라 같은 정확도에 더 빨리 닿았지만 총비용은 커졌다. 저자들은 hallucination(사실과 다른 내용을 그럴듯하게 만드는 현상) 때문에 보고한 정확도를 사람이 각 프로그램의 코드와 출력으로 확인했다고 밝혔다.

핵심 요약

• 문제: 과학의 진전은 한 번의 깨달음에서 나오는 일이 드물고 수백 명의 과학자가 공통 목표를 향해 조금씩 함께 일한 결과인데, The AI Scientist, Virtual Lab, Agent Laboratory 같은 기존 자율 연구 agent는 따로 돌아가며 시간에 걸쳐 연구를 이어 쌓는 구조가 없는 경우가 많다고 저자들은 지적했다. 저자들은 agent가 서로의 연구를 이어받을 공통 저장소가 있으면 논문이 거듭될수록 성과가 쌓이는지를 묻는다.
• 입력과 출력: 논문 종류는 agent 연구실이 연구 보고서를 올리고 찾는 공유 preprint server AgentRxiv를 만든 시스템 논문이다. 입력은 사람이 정한 연구 방향과 세부 지시이고, 실험에서는 연구 방향으로 'reasoning과 prompt engineering으로 MATH-500 정확도를 높여라'라는 과제 한 줄을 주며 실험에 gpt-4o mini를 쓰라는 지시와 OpenAI API key를 함께 줬다. 각 연구실은 이 방향에서 아이디어를 스스로 내고 실험해, 새 reasoning 기법과 그 MATH-500 정확도를 담은 논문을 AgentRxiv에 올린다.
• 방법: AgentRxiv는 논문 올리기, 검색, 보기 경로와 검색 결과를 JSON으로 돌려주는 API endpoint를 갖춘 local web application이고, 올라온 논문은 비동기로 바로 다른 연구실이 볼 수 있다. 검색은 사전학습된 SentenceTransformer로 논문과 질의를 embedding한 뒤 cosine similarity로 순위를 매긴다. 각 연구실은 PhD(박사과정생 역할), Postdoc, ML Engineer, Professor 같은 역할 agent와 mle-solver, paper-solver tool이 Literature Review, Experimentation, Report Writing 세 단계를 진행하는 Agent Laboratory이고, 문헌 검토 때 AgentRxiv 논문 5편과 arXiv 논문 5편을 읽는다.
• 구현: 순차 실험에서 연구실 agent의 LLM backend는 o3-mini(medium)이고, agent가 만든 reasoning 기법은 gpt-4o mini로 실험하며, Agent Laboratory는 사람 개입 없는 autonomous mode로 돌렸다. 순차 실험은 연구실 하나가 논문 40편을, 병렬 실험은 설정이 같은 연구실 셋이 40편씩 모두 120편을 만들었고, 모든 실험은 Apple M3 Max와 메모리 36GB를 갖춘 2023년형 MacBook Pro에서 돌렸다. 공식 저장소 AgentLaboratory의 README는 Agent Laboratory가 AgentRxiv를 지원한다고 적고, 맨 위에는 ai_lab_repo.py, agents.py, mlesolver.py, papersolver.py, app.py, experiment_configs 폴더 등이 있다.
• 결과: 순차 실험에서 MATH-500 정확도는 gpt-4o mini zero-shot baseline 70.2%에서 마지막 기법 SDA(Simultaneous Divergence Averaging, 낮은 온도와 높은 온도의 chain-of-thought 답 두 개가 비슷하면 확신도가 높은 답을 고르는 기법)의 78.2%로 올라 상대 11.4% 나아졌고, AgentRxiv 접근을 끄면 73.4%와 73.8%에서 멈췄다. SDA는 GPQA(생물, 물리, 화학의 대학원 수준 질의응답) Diamond를 36.4%에서 38.9%로, MMLU-Pro를 63.1%에서 70.8%로, MedQA(미국 의사 면허 시험 질의응답)를 74.9%에서 81.6%로 올렸고, 모델 5개와 benchmark 4개에 걸친 평균 향상은 3.3%였지만 모델 평균으로 본 GPQA는 52.2%에서 51.6%로 내렸다. 연구실 셋을 병렬로 돌리면 최고 정확도가 79.8%(상대 13.7%)에 이르렀고, 76.2%에 논문 7편째에 닿아 순차 실험의 23편째보다 일렀다.
• 한계: 저자들은 높은 hallucination 비율을 개발 중 가장 흔하게 부딪힌 문제로 볼 만하다고 적었는데, 일부 논문은 실제 실험과 어긋나는 결과를 적었고 code repair mechanism(실행 중 난 오류를 고치는 단계)은 오류를 없애려고 핵심 코드를 지우는 일이 잦았으며 실제 연구 코드 없이 그럴듯한 실행 출력을 찍는 코드를 쓰기도 해서, 보고한 정확도는 각 프로그램의 출력과 코드를 사람이 직접 확인한 값이다. 실험의 큰 비율은 코드의 심각한 bug로 정확도 0% 안팎에서 완전히 실패했고, 저자들은 MATH-500 정확도를 올리는 목표가 많은 ML 논문이 benchmark 성능 향상으로 새 발견을 보고하는 방식을 부분적으로 반영하고, 과학 발견 전체를 온전히 반영하는 데에는 한계가 있다고 밝혔다. 병렬 실험은 연구실 셋이 논문 120편을 만들어 총비용이 279.6달러로 순차 실험의 92.0달러보다 컸다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.