Agentic AI for Scientific Discovery: A Survey of Progress, Challenges, and Future Directions

이 논문은 과학 발견에 쓰이는 agentic AI 시스템과 그 평가 자료를 한눈에 정리하는 문제를, 시스템을 완전 자율형과 사람과 AI 협업형으로 나누고 문헌 검토, 화학, 생물, 재료 과학 사례와 구현 도구, dataset, 평가 지표, 남은 과제를 묶은 survey로 풀었다.

이 논문은 한마디로 과학 발견용 agentic AI(추론, 계획, 자율 판단으로 연구 일을 진행하는 AI) 시스템을 완전 자율형과 사람과 AI 협업형으로 나눠 정리한 survey다. 저자들은 연구 과정을 아이디어 생성, 실험 설계와 실행, 데이터 분석과 해석, 논문 작성과 배포의 네 단계로 나누고, 화학의 Coscientist와 LLM-RDF(LLM Reaction Development Framework), 생물의 BIA(BioInformatics Agent)와 CellAgent 같은 사례, AutoGen과 MetaGPT 같은 구현 도구, LAB-Bench와 MoleculeNet 같은 dataset을 소개했다. 저자들은 문헌 검토가 거의 모든 접근에서 여전히 큰 과제라고 정리하며, Agent Laboratory에서도 문헌 검토 단계의 실패율이 가장 높았다는 보고를 인용했다. 앞으로의 방향으로는 사람과 AI의 협업과, 출력의 확신도를 실제 정답률에 맞추는 calibration을 꼽았다.

핵심 요약

• 문제: LLM 기반 agent는 인용 관리, 문헌 찾기, 학술 survey 작성 같은 일반 연구 workflow의 자동화에서 진전을 보였지만, 저자들은 이런 시스템에 생명의학처럼 문헌을 구조적으로 평가해야 하는 분야에 필요한 분야 특화와 규정 준수 수준의 엄밀함이 자주 부족하다고 지적했다. 예로 Agent Laboratory는 데이터 준비, 실험, 보고서 작성에서 성공률이 높았지만 문헌 검토 단계에서 성능이 크게 떨어졌고, 시스템 신뢰성, 재현성, 윤리 관리도 여전히 큰 걸림돌로 꼽혔다.
• 조사 범위: 논문 종류는 과학 발견용 agentic AI를 정리한 survey이고, agent의 정의와 single agent 대 multi-agent 구조, 시스템 분류, 문헌 검토 agent, 화학, 생물, 재료 과학, 일반 과학, 기계학습 분야의 발견 시스템, 구현 도구, dataset, 평가 지표, 남은 과제를 다룬다. 저자들은 연구 과정을 아이디어 생성, 실험 설계와 실행, 데이터 분석과 해석, 논문 작성과 배포의 네 단계로 나눠 단계마다 agent가 맡는 일을 설명했다.
• 분류: 완전 자율형 시스템은 사람 개입을 최소로 해 전 과정을 자동화하는 쪽으로, GPT-4 기반으로 화학 실험을 계획, 설계, 실행하는 Coscientist, 전문가가 만든 tool 18개를 붙인 ChemCrow, 단백질 설계용 ProtAgents가 여기 든다. 사람과 AI 협업형은 연구자와 함께 일하는 쪽으로, 학제 간 연구를 회의와 개별 과제로 꾸리는 Virtual Lab, 실험 protocol을 짜 주고 실행은 연구자에게 맡기는 BioPlanner, 연구자, 실험 장비와 상호작용하는 lab assistant CALMS(Context-Aware Language Model for Science), 사람이 준 아이디어로 문헌 검토, 실험, 보고서 작성을 진행하는 Agent Laboratory가 여기 든다. 저자들은 자율형이 잘 정의되고 반복되는 과제에서 효율이 높지만 창의성이나 분야 직관이 필요한 과제에서는 어려움을 겪을 수 있고, 협업형은 사람의 감독, 데이터 품질, 해석 가능성에 기대므로 여전히 사람의 검증과 실행이 필요하다고 정리했다.
• 사례: 화학에서는 여섯 개의 LLM agent에 문헌 검색, 실험 설계, 반응 최적화, 데이터 분석을 나눠 맡긴 LLM-RDF가 호기성 알코올 산화 반응에서 합성 개발 전 과정을 자동화해 보였고, 로봇 시스템 Organa는 전기화학 실험에서 사람 화학자와 비슷한 결과를 내며 실행 시간을 20% 넘게 줄였다고 survey가 소개했다. 생물에서는 Planner, Executor, Evaluator 세 역할이 협업하는 multi-agent 시스템 CellAgent가 단일 세포 RNA(리보핵산) sequencing 데이터 분석에서 과제 완수율 92%를 냈다고 소개했다. 이 수치는 survey가 각 시스템의 원 논문에서 옮겨 정리한 값이다.
• 도구와 평가 자료: 구현 도구로는 multi-agent 시스템을 관리하는 framework AutoGen, 역할을 나눠 software 개발을 진행하는 MetaGPT, 지속형 agent를 서비스로 배포하는 open-source framework Letta, LangChain, AutoGPT를 소개했다. dataset 표에는 생물 연구의 추론과 계획을 재는 LAB-Bench, 분자 물성 예측용 MoleculeNet, 신약 개발용 가상 screening 자료 ZINC(화합물 database), 재료 과학 질의응답용 MaScQA(materials science question answering dataset), 자동 논문 리뷰어 평가용 ICLR(기계학습 학회 International Conference on Learning Representations) 2022 OpenReview 자료 등이 들어 있다. 지표는 추론과 계획에서 대개 정확도, 과제 완수율, 응답 일관성을, 예측과 발견에서 precision, recall, 예측 오차를 쓰며, 실험 자동화의 multi-agent 협업이나 가설 생성 같은 복잡한 과제의 표준 지표는 아직 개발 중이라고 저자들은 적었다.
• 한계: 저자들은 문헌 검토가 거의 모든 접근에서 여전히 큰 과제라고 보았고, Agent Laboratory에서는 데이터 준비, 실험, 보고서 작성 단계와 견줘 문헌 검토 단계의 실패율이 가장 높았으며 ResearchAgent와 The AI Scientist에는 구조화된 문헌 검토 기능이 부족하다고 정리했다. 재료 발견과 연구 전 과정 자동화처럼 새로 떠오르는 분야에는 실제 영향과 적응력을 재는 종합 benchmark가 아직 필요하다고 적었다. 위험으로는 사람 감독이 적은 고도 자율 agent에서 오류가 쌓이는 문제, 실험 자동화에서 정해진 protocol이나 안전 조치를 벗어날 수 있는 문제, 물리 시스템과 이어진 agent가 상황을 잘못 읽어 예기치 못한 상황 악화나 시스템 고장으로 번질 수 있는 문제를 들고, AI governance와 사람의 감독을 강조했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.