Auto Research with Specialist Agents Develops Effective and Non-Trivial Training Recipes

이 논문은 사람이 실험을 고르던 ML training recipe 개선을, specialist agent가 공유 lineage를 읽고 코드 수정을 제출하면 외부 evaluator가 점수를 매기는 closed loop로 자동화했다.

이 논문은 한마디로 Claude Opus 4.7 기반 specialist agent들이 가설, 코드 수정, 실제 학습 실행, 외부 평가를 반복해 공개 training recipe를 개선하는 closed-loop 연구 자동화 시스템이다. 1,197개 headline trial과 600개 control trial은 한 번의 설정과 시작 뒤 사람 개입 없이 진행됐다. 세 환경에서 Parameter Golf bpb는 0.81% 줄고, NanoChat-D12 CORE는 38.7% 오르고, CIFAR-10 Airbench96 학습 시간은 4.59% 줄었다. 통제 실험에서 공유 lineage를 빼면 유효 개선이 16번에서 3번으로 줄었고, 저자들은 lineage feedback을 핵심 장치로 보았다.

핵심 요약

• 문제: 기존 연구는 repository 편집 agent, ML 실험 agent, evaluator 기반 탐색을 따로 다뤘고, evaluator 기반 탐색도 알고리즘, infrastructure, 고정된 parameter와 architecture 공간을 대상으로 했다. 저자들은 외부 측정이 이끄는 제안, 측정, 수정 loop가 사람 개입 없이 실제 training recipe 전체에서 이어지는지, 그 궤적을 감사 가능한 기록으로 남길 수 있는지를 묻는다.
• 입력과 출력: 이 논문은 specialist agent harness를 만들어 세 환경에서 실제로 실행한 시스템 논문이다. 입력은 수정할 파일, 점수 지표, 합법 조건, evaluator가 정해진 training recipe 환경과 공개 시작 recipe로, Parameter Golf는 validation bpb(bits per byte, 낮을수록 좋다), NanoChat-D12는 CORE 점수(높을수록 좋다), CIFAR-10 Airbench96은 정확도 0.96 이상에서 학습 시간을 잰다. 출력은 trial마다 가설, 실행 가능한 코드 수정, evaluator가 잰 점수와 상태, 실패 label이 남은 궤적과 개선된 최종 recipe다.
• 방법: agent는 공유 lineage(이전 trial의 가설, diff, 점수, 실행 시간, 상태, crash 요약 기록)를 읽고 가설을 세워 코드를 고친 뒤 trial을 제출하며, 외부 evaluator가 점수와 상태를 기록하면 다음 agent가 그 결과를 받는다. specialist 역할은 recipe 영역을 나눠 Parameter Golf에 architecture, optimization, quantization, tokenizer, test-time training 등 10개, NanoChat-D12와 CIFAR-10 Airbench96에 5개씩 둔다. 점수는 수정 가능한 recipe 밖에서 재서, 더 좋은 점수를 직접 출력하거나 실행 시간을 거짓으로 보고하는 reward hacking을 막는다.
• 구현: 보고한 모든 run은 모든 역할에 Claude Opus 4.7을 쓰고, specialist session 하나는 Claude Agent SDK 호출 한 번이며 기본값은 thinking budget 8000 token, tool 사용 최대 200 turn이다. agent는 submit_trial, syntax_check, size_project, rebase_to 같은 MCP(Model Context Protocol) tool을 쓰고, Write tool은 허용 목록에서 빠져 있으며 hook이 Bash 쓰기 명령을 막아 Bash는 읽기 전용이다. 공식 저장소 README는 task와 무관한 harness(agent_core), 세 환경 package, single-agent와 generic-agent 비교 package, 실험별 frozen run 기록을 공개했다고 밝히고, 실행에는 GPU 8개 node와 Anthropic API key가 필요하다고 적는다.
• 결과: 세 headline run의 1,197 trial에서 Parameter Golf validation bpb는 1.0810에서 1.072210으로(0.81%) 줄고, NanoChat-D12 CORE는 0.1618에서 0.2244로(38.7%) 오르고, CIFAR-10 Airbench96 학습 시간은 정확도 0.96 조건을 지키며 26.3560초에서 25.1464초로(4.59%) 줄었다. Parameter Golf 첫 200 trial에서 lineage를 쓴 role swarm(역할을 나눈 specialist 구성)은 유효 개선 16번으로 1.073142, 역할 없는 generic agent 10개는 10번으로 1.074495, agent 하나(single generalist)는 14번으로 1.075384, lineage를 뺀 run은 3번으로 1.077413에 닿았다. lineage를 빼면 평가 시간 상한에 걸린 trial 비율이 19.0%에서 61.5%로 늘었다.
• 한계: 저자들은 관찰된 한계를 알려진 기법을 조합, 이전, 수리하는 수준으로 보았고, 원래 Transformer를 대체할 만한 패러다임 수준의 구조 발명은 기록된 trial 밖에 있다고 밝혔다. 이 loop는 실패가 믿을 만한 짧은 feedback으로 돌아오는 환경에 맞고, 근거가 주관적이거나 자동 검증이 어려운 질문에는 덜 맞는다. 계산량 상한은 Parameter Golf 1,500 trial에 4,000 H100-hours, NanoChat-D12 200 trial에 2,400 H100-hours이고, 준비와 calibration 계산은 이 합계 밖에 있다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.