FML-bench: Benchmarking Machine Learning Agents for Scientific Research

이 논문은 ML 연구 agent를 주로 엔지니어링 중심 과제와 최종 성능으로 평가하던 문제를, 실제 연구 저장소 위에 만든 기초 ML 연구 과제 8개와 연구 과정을 재는 지표(Exploration Diversity 등)로 풀었다.

이 논문은 한마디로 ML 연구 agent가 기초 ML 문제에서 baseline을 얼마나 개선하는지와 그 과정에서 얼마나 넓게 탐색하는지를 함께 재는 benchmark다. 일반화, 데이터 효율, 표현 학습, 지속 학습, 인과 추론, 견고성, 프라이버시, 공정성의 8개 과제를 DomainBed, AIF360(AI Fairness 360) 같은 실제 연구 저장소 위에 만들고, 반복마다 바뀐 코드의 embedding이 퍼진 정도를 Exploration Diversity로 잰다. TheAIScientist, AIDE(code를 고치고 평가하며 tree 탐색하는 agent), Claude Code를 비교한 결과 넓게 탐색하는 TheAIScientist가 Gemini-2.5-Pro와 함께 4개 과제에서 1위를 했고, diversity와 성능은 다섯 과제에서 양의 상관을 보였다. 저자들은 agent를 고정하고 LLM을 바꾸면 LLM의 다른 능력도 성능을 좌우한다고 밝혔다.

핵심 요약

• 문제: 기존 ML agent benchmark는 대개 Kaggle식 응용 과제에서 feature engineering, 표준 모델 학습 같은 엔지니어링 실행을 보고, 주로 최종 성능과 계산 비용을 평가한다. 그래서 일반화, 표현 학습 같은 기초 ML 연구 문제를 푸는 능력은 덜 평가됐고, agent가 반복하며 연구하는 과정의 특징이 결과와 어떻게 이어지는지도 분석하기 어려웠다.
• 입력과 출력: benchmark 논문이다. agent는 과제 설명, 실제 연구 저장소의 코드 전체, 고치라고 권하는 파일, 고칠 수 없게 막은 평가 코드, 실험 명령 목록, baseline 성능, 목표 지표를 받고, 가설을 세워 코드를 고치고 명령을 실행하는 반복을 거쳐 baseline보다 좋은 실험 결과를 내는 새 방법이나 개선한 방법을 내도록 요구받는다. 저장소마다 다른 출력은 후처리 모듈이 표준 형식으로 바꾸고, Performance 점수는 반복 가운데 held-out test set에서 가장 좋은 결과다.
• 방법: 과제 8개의 dataset과 baseline은 일반화가 ColoredMNIST와 ERM(Empirical Risk Minimization), 데이터 효율이 Mini-ImageNet과 Prototypical Networks, 표현 학습이 CIFAR-10과 MoCo, 지속 학습이 splitMNIST와 Synaptic Intelligence, 인과 추론이 IHDP(Infant Health and Development Program)와 DragonNet, 견고성이 backdoor 공격을 넣은 MNIST(손글씨 숫자 이미지)와 dp-instahide, 프라이버시가 CIFAR-10과 Wide-ResNet-28-2, 공정성이 COMPAS(재범 예측 dataset)와 Adversarial Debiasing이며, 모두 DomainBed, Lightly, AIF360 같은 실제 연구 저장소 위에 만들었다. 성능과 비용 외에 반복마다 만든 코드의 GraphCodeBERT(data flow를 반영하는 code 표현 모델) embedding이 중심에서 퍼진 정도인 Exploration Diversity, 실행한 반복 가운데 오류 없이 결과를 낸 비율인 Step Success Rate, 배정된 반복 가운데 실제로 실행한 비율인 Step Completion Rate를 새로 제안한다.
• 구현: 탐색 전략이 서로 다른 TheAIScientist(넓은 병렬 탐색), AIDE(tree 탐색, 상용 버전 Weco로 실행), Claude Code(prompt로 지시한 선형 개선)를 비교했다. TheAIScientist와 AIDE에는 GPT-5와 Gemini-2.5-Pro를, Claude Code에는 Opus-4.1을 썼고, agent마다 100 step 예산으로 세 번 독립 실행해 test set 기준 가장 좋은 결과를 골랐다. 공식 저장소 qrzou/FML-bench의 README는 이 논문 버전의 코드가 legacy branch에 있다고 적었고, 기본 branch의 README는 과제 18개와 agent 7개를 담은 새 버전을 설명한다.
• 결과: TheAIScientist와 Gemini-2.5-Pro 조합이 과제 8개 가운데 4개에서 1위로 가장 좋았고, AIDE와 Gemini-2.5-Pro 조합이 2개에서 1위였다. 평균 Exploration Diversity는 TheAIScientist 24.66, AIDE 23.50, Claude Code 8.75였고, diversity와 성능의 상관계수는 다섯 과제에서 양수였으며 그 가운데 p < 0.05인 과제는 데이터 효율(0.6287)과 지속 학습(0.8374) 두 개였다. Step Completion Rate는 TheAIScientist가 1.00, Claude Code가 0.07이었고, token 사용량이 기록된 두 agent 가운데 Claude Code가 성능이 더 낮은데도 총 9.06M으로 TheAIScientist보다 많이 썼다.
• 한계: 저자들은 agent를 고정하고 LLM을 바꾸면 exploration diversity 외에 추론과 코드 작성 같은 LLM의 다른 능력도 성능을 좌우한다고 밝혔고, 인과 추론, 견고성, 프라이버시 과제에서는 diversity와 성능의 상관계수가 음수였다. AIDE는 대상 codebase의 구조를 잘못 읽고 실제 실행 흐름 밖에 남는 class를 만들기도 했고, 일반화와 데이터 효율 과제에서 점수가 baseline과 같았는데 저자들은 AIDE가 한 파일만 고칠 수 있다는 점이 그 원인일 수 있다고 보았다. 실험은 과제 8개, agent 3개, agent마다 세 번 실행한 최고 결과로 한정되고, AIDE는 내부 동작을 제어하기 어렵고 token 사용량 기록이 빠진 상용 Weco로 실행했으며 Weco의 cloud 장애로 일찍 끝나기도 했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.