Position: AI Agents in Scientific Teams Should Be Studied as Human-Agent Systems

이 논문은 AI Scientist 연구가 대부분 agent 혼자의 autonomy에 쏠린 문제를, 사람과 agent의 짝을 분석 단위로 보는 human-agent system 관점으로 다시 보자고 주장하고 문헌 검토, 예비 실험, 사례 분석으로 뒷받침했다.

이 논문은 한마디로 과학 팀에 들어온 AI agent를 사람과 agent의 짝으로 연구해야 한다는 position 논문이다. 저자들은 AI Scientist 시스템을 사람 피드백이 들어오는 경로로 나눠 검토했고, AI Scientist benchmark suite인 AstaBench로 한 예비 실험에서는 매 단계 지시가 없는 agent가 언제 사람에게 물어야 할지 잘 모르는 모습을 보였다. hallucination 인용, 표절, 연구 주제 획일화 같은 단기 위험과, 전문가와 agent가 서로를 보완한 공개 사례 두 건도 다뤘다. 마지막으로 협업 이득과 협업 비용으로 팀 효용을 재는 toy model과 대리 지표를 제안했다.

핵심 요약

• 문제: LLM 기반 agent가 과학 연구의 협력자로 들어오고 있지만, AI Scientist 연구 대부분은 agent의 autonomy를 키우는 데 집중하고 사람의 참여는 목표 설정과 결과 검증 정도로 좁게 다룬다. 저자들은 이 흐름이 과학 팀워크의 사회적 측면을 놓치고, 이 분야 문헌이 실제 연구 현장의 사회기술적 현실과 대체로 떨어져 있다고 본다.
• 주장: 이 논문은 position 논문으로, AI Scientist를 사람과 agent의 짝을 분석 단위로 삼는 human-agent system(HAS)으로 연구하는 일이 아직 덜 탐구되고 저평가돼 있으며, human-AI synergy를 이해하려면 HAS 관점의 새 연구가 필요하다고 주장한다. 저자들은 HAS 관점이 단기 위험을 더 잘 이해하고 줄이는 데 도움이 될 수 있다고 보며, AI 학회 NeurIPS 2025에 채택된 논문 51편에서 확인된 hallucination 인용 100건과, LLM과 AI Scientist가 만든 논문의 36%에서 눈에 띄는 표절을 찾은 전문가 검토를 근거로 든다. AI를 쓴 연구가 논문을 세 배 많이 내면서 다루는 주제의 다양성은 5% 줄었다는 연구도 인용한다.
• 분류: 저자들은 AI Scientist 시스템을 사람 피드백이 들어오는 주 경로에 따라 결과물 단계(artifact-level), 연구 단계(discovery-phase-level), 연구 계획(research-plan-level), 비동기 조정과 중단(asynchronous steering) 네 가지로 나누고, Zou 등의 분류로 피드백 종류(평가, 안내, 수정), 세밀도, 시점을 매긴다. 검토 결과 대부분의 시스템이 사람에게 범위 설정, 감사, 승인 같은 감독 역할을 주었고, 결과물 단계 피드백이 가장 많았으며, 유연한 비동기 상호작용을 지원하는 시스템은 몇 개뿐이었다.
• 근거: AstaBench의 ReAct(추론과 행동을 번갈아 하는 agent 방식) agent harness와 GPT-5-mini로 End-to-End Discovery(E2E) 개발 과제 10개를 실행한 예비 실험에서, ask user tool과 피드백 분류를 prompt에 넣어도 agent의 질문은 1번이었고 E2E 점수는 0.39에서 0.36이 됐다. 매 단계 질문을 강제하면 질문이 92번으로 늘었고, LLM judge 세 개로 분류한 평균에서 평가형이 0.71, 수정 요청형이 0.04였으며 E2E 점수는 0.24였다. 이 실험에서 질문에는 사람 대신 AstaBench 기본값인 자동 이어가기 prompt가 답했다.
• 사례와 제안: 공개된 사례에서 Gemini 3 Pro는 첫 prompt로 계획(plan.md)과 원고 초안(paper.tex)을 만든 뒤 여덟 번의 prompt 동안 증명과 설명을 늘렸고, 전문가는 빠진 선행 연구를 짚고 lemma의 잘못된 가정을 고쳤다. 다른 사례에서 GPT-5는 열핵 연소 축약 물리 모델의 PDE(편미분방정식)와 수치 계산 workflow를 만들었고, 전문가는 조건 값을 손으로 맞추고 출력이 아직 noise인지 가려냈다. 저자들은 팀 효용을 협업 이득 CA(팀이 가장 나은 구성원보다 얼마나 나은지)에서 협업 비용 CD(소통과 조정 부담)를 뺀 값으로 두는 toy model을 제안한다.
• 한계: 예비 실험은 개발 과제 10개에서 질문에 자동 prompt가 답하는 조건이었고, 저자들은 과제마다 아이디어에서 보고서까지 가는 무거운 workflow라서 넓이보다 깊이를 잰 결과라고 설명한다. 사례 연구는 공개된 기록 두 건을 정성적으로 분석한 것이고, toy model과 Review Time, Intervention Density, Simulated Oracle Synergy 같은 대리 지표는 앞으로의 연구 방향으로 제안된다. 저자들은 평가 비용까지 따지면 HAS 관점의 실익이 작을 수 있다는 반대 견해를 다루며, HAS를 사람 혼자, agent 혼자와 견주는 centaur 평가가 지금은 비싸고 재현하기 어렵다고 인정한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.