AutoMedBench: Towards Medical AutoResearch with Agentic AI Models

이 논문은 의료 AI 연구 agent가 긴 workflow의 어느 단계에서 실패하는지 최종 점수로는 알 수 없는 문제를, 다섯 단계 workflow 점수와 사후 error code를 함께 매기는 benchmark로 풀었다.

이 논문은 한마디로 의료 영상과 multimodal 연구 과제 24개에서 agent의 연구 과정과 최종 결과물을 함께 채점하는 benchmark다. 각 run은 Plan, Setup, Validate, Inference, Submit 다섯 단계 점수와 숨긴 정답으로 잰 과제 점수를 받고, 실패 종류는 단계와 별개인 다섯 error code로 기록된다. 여섯 frontier 모델을 평가한 결과 평균으로 Validate가 가장 약한 단계였고, 발생한 error code의 37.7%가 검증과 복구 error(E3), 38.1%가 결과물과 제출 error(E5)였다. 종합 점수(OVERALL)는 Opus 4.6의 66.5부터 Qwen3.5의 51.2까지였다.

핵심 요약

• 문제: 기존 의료 agent benchmark의 상당수는 의학 질의응답, 임상 대화, EHR(전자 건강 기록)이나 FHIR(의료 데이터 교환 표준) 조작, 병원 행정, 최종 과제 성공에 집중하고 주로 최종 출력을 채점한다. 저자들은 낮은 점수가 과제 오해, 부적절한 방법 선택, 환경 설정 실패, 검증 생략, 형식이 틀린 제출 가운데 어디서 왔는지 가리려면 단계별 평가가 있어야 한다고 보았다.
• 입력과 출력: 이 논문은 의료 AI 연구 agent용 benchmark다. agent(code 실행 환경을 사용하는 단일 base LLM)는 공개 입력, 과제 설명(brief), 제출 schema, 시간 제한을 받아 segmentation mask, 복원 영상, VQA(visual question answering, 영상 질의응답) 답, 보고서(report), detection box 가운데 하나를 만들어 제출한다. 각 run은 S1에서 S5까지의 workflow 점수(AGENTIC), 숨긴 정답으로 잰 과제 점수(TASK), 둘을 반씩 더한 OVERALL 점수와 사후 error code를 받는다.
• 방법: 과제 24개는 segmentation, image enhancement, VQA, report generation, detection 다섯 track에 걸치고 CT(컴퓨터 단층촬영), MRI(자기공명영상), X-ray, 병리, 혈액 도말 현미경, 치과 영상, 의료 동영상을 다룬다. 모든 과제는 Plan, Setup, Validate, Inference, Submit 다섯 단계(S1에서 S5)를 거치며 가중치는 25%, 15%, 35%, 15%, 10%이고, S1에서 S3는 LLM judge가, S4와 S5는 deterministic 검사가 채점한다. 과제마다 brief의 scaffolding 양만 다른 Lite와 Standard 두 tier를 두어 48개 task-tier 설정을 만들고, 실패 종류는 단계 점수와 별개로 E1 이해, E2 데이터와 모델 설정, E3 검증과 복구, E4 구현과 실행, E5 결과물과 제출의 다섯 error code로 기록한다.
• 구현: agent container는 GPU, network, 공개 입력, 쓰기 가능한 workspace를 받고, 숨긴 정답과 채점 코드는 외부 network와 끊긴 별도 evaluator container에 두며, run 도중 학습이나 fine-tuning은 금지한다. Opus 4.6, GLM-5, Gemini 3.1 Pro, ChatGPT-5.4(본문 일부 표기 GPT-5.4), MiniMax-M2.5, Qwen3.5 여섯 모델을 같은 system prompt, tool schema, 종료 조건, decoding 설정으로 돌렸고, 평가 cell 288개마다 기본 10번(segmentation 다섯 과제는 20번) 반복했다. README에 따르면 GitHub 저장소 AutoMedBench/AutoMedBench는 도메인별 branch에 task 정의와 Docker orchestrator를 두어 agent, task, tier를 골라 cell 하나를 돌리게 하고, benchmark release(Lite, Full)와 Full leaderboard Space는 Hugging Face에, live leaderboard는 automedbench.github.io 웹사이트에 있다.
• 결과: 평가한 여섯 모델 가운데 OVERALL 점수는 Opus 4.6이 66.5로 가장 높고 Qwen3.5가 51.2로 가장 낮아 15.3점 차이가 났으며, VQA track에서는 GLM-5가 64.0으로 1위였다. 여섯 모델 평균으로 다섯 단계 가운데 S3 Validate가 가장 낮고 S2 Setup이 가장 높았으며, 여섯 모델 모두 TASK보다 AGENTIC 점수가 높았다. 발생한 error code의 37.7%가 검증과 복구 error(E3), 38.1%가 결과물과 제출 error(E5)였고 이해 error(E1)는 0.9%였으며, error code가 하나 나온 run은 error code가 없는 run보다 OVERALL 점수가 평균 48% 낮았다.
• 한계: 저자들은 단계별 평가가 결과 평가를 대신할 수 없고, AGENTIC 점수가 높아도 임상 유용성과 정확도는 따로 확인해야 한다고 밝혔다. 과제는 추론만 하는 workflow로 한정해 정답이 주로 주관적 판단, 긴 임상 대화, 학습 중 적응에 달린 과제를 뺐고, 비교 대상은 vendor agent wrapper 없이 같은 harness로 돌린 base 모델이다. 제한 데이터는 benchmark가 재배포하는 대신 실행하는 쪽이 자격을 갖춰 받아야 하며, 저자들의 실험에서는 MIMIC-CXR을 PhysioNet으로, fastMRI를 NYU(New York University) 데이터 공유 협약으로 받았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.