AI Research Agents Narrow Scientific Exploration

이 논문은 AI research agent가 과학 탐색을 넓히는지 기존 평가로는 알기 어려운 문제를, agent framework 5개와 LLM 5개로 만든 아이디어 219,655개를 사람 논문과 네 척도로 견주는 방법으로 풀었다.

이 논문은 한마디로 AI research agent가 만든 아이디어가 과학 탐색을 넓히는지, 기존 연구를 주로 강화하는지를 대규모로 잰 실증 연구다. 저자들은 Semantic Scholar의 연구 영역 155개에서 고른 seed 논문을 agent framework 5개와 LLM 5개에 주어 아이디어 219,655개를 만들고, 사람 논문과 탐색 폭, seed에서의 거리, 다음 해 연구 흐름과의 겹침, 잠재 영향력으로 비교했다. AI 아이디어 전체로 보면 네 척도 모두에서 사람 연구보다 좁거나 seed에 가깝거나 낮았고, seed 문헌에 없는 연구 질문을 담은 아이디어는 10.5%였다. 저자들은 지금의 AI research agent가 과학 탐색을 넓히기보다 기존 연구를 국소적으로 다듬는 데 더 맞아 보인다고 결론지었다.

핵심 요약

• 문제: AI research agent framework의 prompt와 추론 절차는 흔히 새롭고 영향력이 크며 관행을 벗어난 아이디어를 내라고 지시하지만, 아이디어를 대량으로 내는 능력이 곧 더 넓은 과학 탐색을 뜻하는지는 따로 확인해야 할 질문이다. 기존 평가는 주로 아이디어 하나하나가 흥미롭고 새롭고 실현 가능하며 실행할 수 있는지를 보고, 반복된 AI 아이디어 생성이 과학 탐색의 전체 지형을 어떻게 바꾸는지는 훨씬 덜 보여 준다.
• 입력과 출력: 실행마다 agent framework 하나와 LLM 하나가 같은 연구 영역의 seed 논문 5편(anchor 논문 1편과 관련 논문 4편, 제목과 초록만)을 받아 연구 질문과 방법을 갖춘 연구 아이디어 하나를 낸다. 저자들은 이렇게 모은 아이디어를 같은 영역의 사람 논문, 그리고 seed 논문을 인용한 후속 사람 논문과 네 가지 척도로 비교한다. 논문 종류는 아이디어 219,655개를 분석한 대규모 실증 연구(empirical study)다.
• 방법: 연구 영역(research area)은 논문들이 같은 선행 문헌을 얼마나 함께 인용하는지(bibliographic coupling)로 묶어 정했다. 네 척도는 exploration breadth(같은 영역 안 아이디어끼리의 평균 cosine 거리), exploration distance(아이디어와 seed 논문 5편 중심 사이의 cosine 거리), frontier alignment(다음 해 사람 논문에서 가장 자주 나온 상위 10% keyword 가운데 아이디어가 담은 비율), potential scientific impact(의미가 가장 가까운 사람 논문 20편이 같은 영역, 같은 해 논문에 견주어 받은 인용 점수의 평균)이고, cosine 거리는 두 embedding 벡터의 방향이 얼마나 다른지를 잰다. 아이디어와 사람 논문은 Gemma-4-31B-IT로 연구 질문, 방법, keyword를 뽑아 같은 형식으로 맞춘 뒤 Qwen3-Embedding-4B로 embedding을 만들었다.
• 구현: Semantic Scholar 논문 149,405,218편의 index에서 큰 분야 12개의 연구 영역 155개와 seed set 11,520개를 뽑았고, framework 다섯(Zero-shot, AIScientist, ResearchAgent, AgentLaboratory, Co-Scientist)과 open-weight LLM 넷(Gemma-4-31B-IT, Llama-3.1-8B, Hermes-4-14B, Qwen3-35B-A3B)으로 230,400번 실행했다. GPT-5.4는 예산 때문에 무작위로 고른 2022년 seed set에서만 2,400번 실행했고, 전체 232,800번 가운데 유효한 아이디어 219,655개(94.4%)를 분석했다. Zero-shot을 뺀 framework는 seed 논문이 나온 시점에 있던 논문만 담은 로컬 Semantic Scholar database를 검색할 수 있었고, AIScientist는 아이디어 생성 단계까지만 실행했으며, Co-Scientist는 공개된 설명을 바탕으로 구현했다.
• 결과: 같은 연구 영역 안 exploration breadth는 AI 아이디어 0.554, 사람 논문 0.599로 AI가 7.5% 낮았고, seed 문헌에서의 exploration distance는 AI 아이디어 0.322, 후속 사람 논문 0.410이었다. 다음 해 frontier keyword는 AI 아이디어가 28.5%, 후속 사람 논문이 36.5%를 담았고, potential impact 점수는 AI 0.387, 후속 사람 논문 0.492로 AI가 21.3% 낮았으며, LLM 가운데 GPT-5.4만 impact가 사람 연구와 비슷했다(0.472, 사람 0.464). seed 문헌에 없는 연구 질문을 담은 AI 아이디어는 10.5%뿐이었고, 새 방법을 담은 아이디어는 90.4%였다.
• 한계: GPT-5.4는 예산 때문에 2022년 seed set 일부에서 2,400번만 실행했고, seed 문맥을 논문 5편으로 정한 이유는 대부분의 framework가 지금 LLM의 context window 한계에 묶여 있기 때문이며 문맥에는 제목과 초록만 들어갔다. 사전학습한 LLM이 seed 이후 논문 지식을 품었을 수 있는 정보 누출은 검색을 그 시점 논문으로 묶어 줄였고, 저자들은 그래도 AI 아이디어의 frontier alignment가 낮았으므로 보고한 차이가 보수적인 추정일 가능성이 크다고 보았다. potential impact는 의미가 가까운 사람 논문의 인용으로 잰 대리 지표이고, leave-one-out 검증에서 대상 논문 인용 점수와의 Spearman ρ(순위 상관계수)가 0.155라 저자들도 이 지표가 인용 결과의 일부만 설명한다고 밝혔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.