Many Heads Are Better Than One: Improved Scientific Idea Generation by A LLM-Based Multi-Agent System

이 논문은 LLM 기반 아이디어 생성 연구가 실제 연구팀의 협업 방식을 놓친 문제를, 실제 과학자 데이터로 만든 가상 연구 생태계에서 agent 팀이 주제 토론, 아이디어 생성, 새로움 평가, abstract 작성을 함께 거치게 하는 multi-agent 시스템 VirSci(Virtual Scientists)로 풀었다.

이 논문은 한마디로 실제 과학자의 profile과 공저 관계로 agent 팀을 꾸려 함께 연구 아이디어를 내고 abstract를 쓰게 하는 multi-agent 시스템이다. 저자들은 AMiner Computer Science dataset과 Open Academic Graph 3.1로 정한 시점 이전과 이후의 논문 database를 만들고, 생성 abstract가 이전 논문과 얼마나 다르고 이후 논문과 얼마나 가까우며 그 이후 논문이 얼마나 인용됐는지로 새로움을 쟀다. GPT-4o, LLaMA3.1-8b, LLaMA3.1-70b agent 모두에서 VirSci가 HypoGen과 AI Scientist보다 표의 모든 지표에서 나았다. 저자들은 multi-agent가 single agent보다 최신 연구와의 정렬에서 평균 13.8%, 최신 연구에 대한 잠재 영향에서 평균 44.1% 나았다고 보고했고, 팀원 8명과 토론 5 turn 안팎에서 새로움이 가장 높았다고 밝혔다.

핵심 요약

• 문제: AI Scientist, ResearchTown, HypoGen 같은 기존 연구는 LLM agent로 과학 아이디어 생성을 흉내 냈지만, single agent에 기대거나 손으로 만든 개인 profile과 합성 협업 network 같은 비현실적 데이터와 지나치게 단순한 협업 framework로 multi-agent를 꾸려 실제 연구팀의 역동적 관계를 놓쳤다고 저자들은 지적했다. 저자들은 실제 과학자 데이터로 팀을 꾸리고 협업하는 과정을 흉내 내면 더 새로운 아이디어가 나오는지, 팀 크기, 새 팀원 비율, 연구 분야 다양성 같은 협업 조건이 새로움에 어떤 영향을 주는지를 묻는다.
• 입력과 출력: 논문 종류는 multi-agent 시스템 VirSci를 제안한 시스템 논문이고, 입력은 정한 시점을 기준으로 실제 학술 데이터에서 만든 연구 생태계다. 생태계는 그 시점 이전 논문 database, 이후 논문 database, 과학자 profile을 담은 author knowledge bank, 과학자 사이 공저 횟수를 담은 adjacency matrix(인접 행렬)로 이뤄진다. 출력은 무작위로 뽑은 team leader가 꾸린 팀이 함께 쓴 abstract 한 편이고, abstract는 Introduction, Objective, Methods, Expected Results, Conclusion 다섯 부분으로 쓴다.
• 방법: team leader는 공저 횟수에 1을 더한 adjacency matrix를 초대 확률로 써서 팀을 꾸리고, 팀은 주제 토론, 아이디어 생성, 새로움 평가, abstract 작성 단계마다 K turn 동안 차례로 발언한다. 토론 중 agent는 RAG(retrieval-augmented generation, 검색한 자료를 붙여 답을 만드는 방식)로 author knowledge bank를 찾아 팀 밖 과학자의 의견도 듣는데, 저자들은 이를 Invitation Mechanism이라 부른다. 아이디어 생성 단계는 확신도가 가장 높은 아이디어 3개를 남기고, 새로움 평가 단계에서 agent들이 각 아이디어를 과거 논문과 비교해 투표로 하나를 고른다.
• 구현: 시스템은 multi-agent framework AgentScope 위에 만들었고, GPT-4o는 공개 API로, open-weight 모델 LLaMA3.1-8b와 LLaMA3.1-70b는 Ollama로 불러 쓰며 기본 모델은 LLaMA3.1-8b다. 데이터는 AMiner Computer Science dataset을 거른 저자 156명과 논문 178,197편, Open Academic Graph 3.1을 거른 저자 3,169명과 논문 201,131편이다. GitHub 저장소 맨 위에는 과학자 agent를 정의한 agentscope-main, 실행 파일 run.py가 든 sci_platform, preprocess_data 폴더가 있고, README는 전처리한 AMiner Computer Science 데이터를 Google Drive에서 받도록 안내한다.
• 결과: GPT-4o agent에서 VirSci는 CD(Contemporary Dissimilarity, 생성 abstract와 가장 비슷한 최신 논문 5편과의 평균 거리로 작을수록 최신 논문에 가깝다) 0.34, CI(Contemporary Impact, 그 논문들의 평균 인용 수) 3.78, 박사과정생 열 명이 10점 척도로 매긴 새로움 점수 5.24로 HypoGen(0.36, 3.10, 4.78)과 AI Scientist(0.38, 3.22, 4.94)보다 나았고, LLaMA3.1-8b와 LLaMA3.1-70b agent에서도 LLM review 점수까지 표의 모든 지표에서 앞섰다. 이 비교에서는 HypoGen과 VirSci의 첫 토론 주제에 NanoGPT를 넣어 AI Scientist와 연구 방향을 맞추고, VirSci 팀원 4명과 5 turn, HypoGen 12 turn으로 추론 비용을 비슷하게 맞췄으며, 지표 계산용 논문 검색은 세 시스템 모두 Semantic Scholar API로 맞췄다. 팀 크기 1, 4, 8, 10, 100명을 비교한 협업 실험에서 새로움 종합 지표 ON(Overall Novelty)은 팀원 8명과 토론 5 turn 안팎에서 가장 높았고, 처음 함께하는 팀원 비율이 50% 안팎일 때도 가장 높았다.
• 한계: 큰 연구 공동체에서는 여러 팀이 관련 과제를 함께 또는 따로 진행하는 일이 많고 연구자가 여러 팀에 동시에 참여하는 일도 잦은데, 저자들은 시스템이 이런 복잡함을 단순화했다고 밝혔고 기반 LLM과 학습 데이터의 bias, 그럴듯하지만 틀린 과학 주장을 만들 위험도 한계로 들었다. 평가는 계산 비용 때문에 주로 본문 전체 대신 생성 abstract를 대상으로 했고, abstract 200편에서 ON과 사람 평가의 Pearson 상관은 0.52였다. VirSci가 다루는 범위는 아이디어 생성 단계까지이고, 부록의 예시 abstract에는 아이 500명 대상 무작위 대조 시험에서 실패율이 42% 줄었다는 결과 문장도 들어 있다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.