ML-AutoResearch: Training Machine Learning Research Agents with Automatically Generated Environments

이 논문은 ML 연구 agent를 가르칠 과정 단위 학습 데이터가 모자란 문제를, GPT-5가 실제 데이터셋에 맞춘 연구 과제 환경을 자동으로 만들고 스스로 디버깅해 검증한 뒤 그 위에서 모은 풀이 궤적으로 작은 모델을 fine-tuning하는 방법으로 풀었다.

이 논문은 한마디로 ML 연구 과제 환경과 풀이 궤적을 자동으로 만들어 연구 agent를 SFT로 학습시키는 pipeline ML-AutoResearch다. GPT-5가 주제를 뽑고 HuggingFace(공개 데이터셋과 모델 저장소) 데이터셋에 맞춰 과제와 baseline 코드, 평가 script를 쓰며, 실행 중 오류가 나는 환경은 self-debugging loop로 고치거나 버린다. 1,000개 주제에서 검증된 환경 555개와 궤적 약 34K개를 얻었고 이를 17K개로 걸렀다. 이 데이터로 학습한 Qwen3 4B, 8B, 14B는 MLGym(ML 연구 과제 13개로 된 benchmark)의 AUP(중간 제출까지 모은 종합 점수) 평균이 각각 5.7%, 9.1%, 5.9% 올랐다.

핵심 요약

• 문제: ML 연구 agent를 학습시키려면 디버깅, 실패한 실험, 단계별 추론이 담긴 과정 단위 데이터가 많이 필요하다. 기존 논문, 코드 저장소, 정적 benchmark는 최종 결과만 담고, 사람이 만든 benchmark는 과제 수가 적어 agent SFT에 필요한 규모와 다양성이 부족하다.
• 입력과 출력: 이 논문은 학습 데이터 생성과 fine-tuning을 묶은 방법 논문이다. pipeline은 teacher LLM과 HuggingFace 데이터셋 hub를 받아 과제 설명, 데이터셋, baseline 코드, 평가 script를 갖춘 실행 가능한 ML 연구 환경과 teacher 궤적을 낸다. 학습된 student agent는 MLGym 환경에서 파일을 읽고 고치고 shell 명령을 실행하며, 정해진 상호작용 예산 안에 baseline을 개선한 풀이를 제출해야 한다.
• 방법: 1단계에서 teacher가 주제를 뽑아 과제와 데이터셋 이름을 제안하면, HuggingFace 검색으로 실제 데이터셋에 맞춘 뒤 설정, starter code, 평가 script를 쓴다. 2단계에서는 과제를 MLGym에서 한 번 실행해 오류가 나면 오류 log를 보고 코드를 고치거나 새로 만드는 self-debugging loop를 거쳐 실행되는 환경만 남긴다. 3단계에서는 과제마다 teacher 궤적을 최대 256개 모아 baseline을 넘은 것이나 Z-score(과제 안 평균과 표준편차로 표준화한 점수) threshold를 넘은 것만 남기고, 32,768 token보다 긴 궤적은 뺀다.
• 구현: teacher는 GPT-5이고 student는 Qwen3-4B, Qwen3-8B, Qwen3-14B와 Qwen2.5-3B-Instruct다. 1,000개 주제 가운데 914개가 데이터셋 확인을 통과했고, 그중 555개(60.7%)가 환경 검증을 통과했으며, 궤적 약 34K개를 17K개로 걸러 SFT에 썼다. 논문 체크리스트는 공개 저장소 링크와 전체 재현 안내가 아직 없다고 답했다.
• 결과: 세 evaluation seed(42, 123, 456) 평균으로 MLGym AUP가 4B, 8B, 14B에서 각각 5.7%, 9.1%, 5.9% 올랐고, MLAgentBench(ML 설계와 디버깅 과제 benchmark) 정규화 점수는 0.101, 0.171, 0.294만큼 올랐다. GPT-5.4 궤적을 더한 14B는 seed 42 최고 run AUP가 1.1297로 Qwen3-14B보다 7.0% 높았다. 궤적을 만드는 teacher만 Qwen3-32B로 바꾸고 과제 생성과 검증은 GPT-5로 둔 실험에서도 8B와 14B의 평균 AUP가 3.0%, 3.2% 올랐다.
• 한계: 학습 목표가 teacher를 따라 하는 supervised imitation이어서, 저자들은 탐색과 과학적 참신성의 직접 최적화를 다음 과제(RL)로 남겼다. 과제 생성과 검증은 여전히 GPT-5가 맡고, 긴 궤적을 만들고 평가하는 데 계산 자원이 많이 든다고 밝혔다. 과제마다 결과 차이가 커서 4B의 MNLI(Natural Language Inference, 문장 사이 추론 과제)와 14B의 Breakout(MinAtar 게임 과제) 점수는 떨어졌고, 학습 과제 6개(1.1%)는 MLGym 과제와 cosine 유사도가 0.60을 넘었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.