Towards a Medical AI Scientist

이 논문은 범용 AI Scientist를 임상 의학 연구에 쓰기 어려운 문제를 임상 근거 기반 아이디어 생성, 의료 데이터용 실험 실행, 윤리 기재를 갖춘 원고 작성 agent로 풀었다.

이 논문은 한마디로 임상 의학 연구용 AI Scientist 시스템과 그 평가 benchmark다. Idea Proposer, Experimental Executor, Manuscript Composer 세 부분이 아이디어, 실험, 원고를 맡고, Reproduction, Innovation, Exploration 세 mode로 자율성을 단계별로 높인다. Med-AI Bench 평가에서 아이디어 점수와 첫 실행 성공률이 GPT-5와 Gemini-2.5-Pro보다 높았다고 저자들이 보고했다. 생성 원고 한 편은 ICAIS 2025(International Conference on AI Scientists)에 채택됐다.

핵심 요약

• 문제: 저자들은 기존 AI Scientist가 대체로 여러 분야에 두루 쓰는 범용(domain-agnostic) 시스템이고 문제 정의와 평가가 비교적 표준화된 수학, 화학, 일반 ML에서 성과를 보였지만, 의학 근거와 특수한 데이터 형식이 필요한 임상 연구에는 쓰기 어렵다고 보았다. 저자들은 의료 사전 지식(진단 절차, 질환별 병리 패턴)을 빠뜨린 아이디어, 3차원 구조 같은 이질적 의료 데이터에서의 실험 실행, 데이터 출처와 윤리 기재를 대체로 놓치는 원고 작성을 세 가지 어려움으로 들었다.
• 입력과 출력: 이 논문은 임상 의학 AI 연구를 자동화하는 multi-agent 시스템 Medical AI Scientist와 평가 benchmark Med-AI Bench를 낸 시스템 논문이다. Reproduction과 Innovation mode는 과제 지시문, dataset 정보, 참고 논문을 받고, Exploration mode는 과제 지시문과 dataset 정보만 받는다. 시스템은 연구 아이디어, 실행 가능한 실험 코드와 결과, 조판까지 마친 논문 원고를 낸다.
• 방법: Idea Proposer에서 Preparer와 Surveyor는 참고 논문과 코드를 모아 수식과 코드 단위로 분해하고, Generator는 clinician-engineer co-reasoning(임상 관점과 공학 관점을 맞춰 보는 추론)으로 가설을 만들며, Exploration mode에서는 Analyzer가 과제의 핵심 임상, 기술 난제를 정리하고 Explorer가 맞는 최신 기법(paradigm)과 코드를 먼저 찾는다. Assessor는 가설의 과학성과 윤리를 검사해 품질 threshold에 미달하면 다시 다듬게 하고 윤리 위반이면 거부하며, Experimental Executor에서는 Investigator가 코드와 의료 toolbox를 모으고, Planner가 실행 절차를 짜고, Executor가 Docker 환경에서 학습과 평가를 돌리고, Judger가 결과를 보고 수정 feedback을 낸다. Manuscript Composer는 참고 논문 구조를 따라 원고를 쓰고, Ethics Reviewer가 dataset 출처와 윤리 승인을 적으며, LaTeX 컴파일 오류는 자동으로 고친다.
• 구현: 모든 agent는 GPT-5 같은 범용 LLM을 base model로 쓰고 prompt 설계로 역할을 나눴으며, Analyzer의 문헌 검색은 OpenAlex 학술 검색 엔진으로 한다. Med-AI Bench는 의료 이미지, 의료 video, EHR(전자 건강 기록), 임상 텍스트, 생체 신호, multimodal 여섯 modality의 19개 과제마다 Google Scholar에서 난이도가 다른 논문 3편을 골라 ground-truth 논문 57편으로 삼고, 논문마다 입력 mode가 다른 사례 3개를 만들어 171개 사례를 구성했다. 자동 실험을 빠르게 돌리려고 dataset은 무작위로 줄여 썼고, 원문에 적힌 공개 주소는 프로젝트 홈페이지다.
• 결과: Innovation mode와 Exploration mode의 아이디어를 전문가 세 명이 5점 척도로 평가한 결과, 두 mode에서 기술 혁신은 4.40과 4.32, 성숙도는 4.65와 4.68로 GPT-5와 Gemini-2.5-Pro보다 높았다. 57개 연구 사례의 첫 실행 성공률은 Reproduction, Innovation, Exploration mode에서 0.91, 0.93, 0.86이었고, 같은 조건에서 GPT-5는 0.72, 0.60, 0.75, Gemini-2.5-Pro는 0.40, 0.49, 0.53이었다. 같은 의료 과제(당뇨망막병증 분류)의 원고를 Stanford Agentic Reviewer가 0에서 10점으로 매긴 점수는 생성 원고가 4.60이고, MICCAI(의료 영상 컴퓨팅 학회), BIBM(생물정보학, 생물의학 학회), ISBI(생체 의료 영상 학회)에서 고른 사람 논문이 4.86, 4.06, 3.74였으며, 이와 별도로 생성 원고 한 편이 투고 114편, 채택률 36.8%인 ICAIS 2025에 채택됐다.
• 한계: 저자들은 생성된 방법 설계가 때때로 지나치게 복잡해지고, 그러면 구현이 일부 구성 요소를 단순화하거나 약하게 만들어 원래 설계에서 벗어날 수 있다고 밝혔다. 실험은 미리 정한 dataset 안으로 한정되고, 생성된 방법의 성능은 state-of-the-art보다 낮은 수준이라고 저자들이 적었다. 원고 전문가 평가는 당뇨망막병증 분류 한 과제의 20편(생성 원고 5편, 사람 논문 15편)으로 했고, 생성 원고의 Coverage(실험 설계의 포괄성) 점수는 3.44로 원문이 비교한 3.68보다 낮았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.