Scaling Automatic Research Agents via World Models

이 논문은 AutoResearch agent(연구 질문을 받아 실험을 구현하고 실행 결과로 다시 고치는 LLM agent)를 RL로 훈련할 때 실제 실행 비용이 병목이 되는 문제를, 실행 결과를 예측하는 world model로 보상을 대신하고 소량의 실제 실행으로 그 bias와 noise를 보정하는 방법으로 풀었다.

이 논문은 한마디로 실행 비용에 막히는 AutoResearch agent의 RL 훈련을 world model 보상과 소량의 실제 실행 보정으로 가속하는 방법 WMRL(World Model RL)의 제안과 검증이다. AutoResearch 과제에서 world model은 agent와 같은 backbone에 prompt만 주어 풀이의 실행 결과를 예측하고, 실제 실행으로도 채점하는 약 10%의 group(anchor group)에서 얻은 점수 쌍으로 Online Debiasing과 Inverse-Variance Denoising이 bias와 noise를 줄인다. 저자들은 Qwen3.5-4B와 9B를 MLE-Dojo(Kaggle machine learning 대회를 상호작용 환경으로 만든 benchmark) 대회로 훈련해, 실제 실행 GRPO(group-relative policy optimization, 한 과제에서 trajectory 여러 개를 뽑아 group 안 점수 차이로 policy를 갱신하는 RL 방법)보다 GPU-hours를 3.1배와 3.4배 줄이면서 두 held-out benchmark 점수를 모두 높였다고 보고했다. 같은 방법을 VLA(이미지와 언어 지시를 받아 로봇 동작을 내는 vision-language-action 모델) policy post-training에 옮긴 실험에서도 로봇 팔 조작 simulation benchmark LIBERO-Long의 성공률이 올랐다.

핵심 요약

• 문제: AutoResearch agent를 RL로 훈련하려면 trajectory가 많이 필요하다. 생성은 batching으로 계산을 나눠 쓰지만, 풀이마다 데이터를 읽고 GPU에서 모델을 훈련하는 격리 sandbox가 따로 필요해 실행 비용은 trajectory 수에 비례해 늘고, 실행이 RL 확장의 가장 큰 병목이 된다.
• 입력과 출력: RL 훈련 방법 논문이고 수렴 이론과 실험을 함께 담았다. AutoResearch 과제의 world model은 과제 설명과 agent의 풀이 코드를 받아 실행 결과를 예측하고, import와 이름, API 호출, 파일과 column 참조, 계산 예산 같은 여덟 가지 점검의 JSON 판정을 합쳐 점수를 낸다. 최종 출력은 post-training을 마친 agent policy이고, AutoResearch 평가는 실제 Kaggle 대회 leaderboard의 백분위로 한다.
• 방법: 전체 group의 약 10%를 anchor group으로 정해 world model과 실제 실행으로 함께 채점하고, 이 점수 쌍을 훈련 중 유지되는 소량의 정답 신호(anchor signal)로 삼는다. Online Debiasing은 점수 쌍에 isotonic regression(입력이 커지면 출력도 커지는 단조 함수로 맞추는 회귀)을 적용해 world model 점수의 bias를 빼고, Inverse-Variance Denoising은 두 종류 group의 policy gradient를 분산의 역수로 가중해 합쳐 noise를 줄인다. 저자들은 bias와 noise가 수렴 bound에 각각 오차 항을 더하고, 두 보정이 이 두 항을 줄여 수렴 보장을 엄격히 개선한다고 증명했다.
• 구현: AutoResearch 실험은 Qwen3.5-4B와 Qwen3.5-9B agent를 GRPO로 훈련하고, world model은 같은 backbone에 prompt만 주어 쓰며 훈련 내내 고정한다. 훈련은 MLE-Dojo 대회 45개로, 평가는 처음 보는 14개 대회와 DSBench(Kaggle 모델링 과제로 만든 data science benchmark) 60개 과제로 하고, VLA 실험은 MiniVLA-1B policy에 progress 예측 모델 Robometer를 world model로 쓴다. 공식 저장소 README에 따르면 numpy만 쓰는 방법 구현(wmrl/), MLE-Dojo와 DSBench 실험 pipeline(ml_research/), VLA 실험(embodied/), test 코드가 공개됐고, 이 공개본은 논문 실행에 쓴 production stack을 다시 구현한 코드이며 WMRL 한 가지 방법만 담는다.
• 결과: WMRL은 real-execution GRPO보다 훈련 계산을 4B에서 883 대 286 GPU-hours, 9B에서 1174 대 349 GPU-hours로 3.1배와 3.4배 줄였다. leaderboard 백분위 평균은 9B에서 MLE-Dojo 18.8에서 21.6으로, DSBench 31.2에서 32.8로 올랐고, 두 benchmark 평균 모두에서 9B WMRL은 Nemotron-120B-A12B(20.5, 31.7)보다, 4B WMRL은 Kimi-48B-A3B보다 높았다. LIBERO-Long VLA 과제에서는 전체 성공률이 SFT의 37.4%에서 WMRL의 41.2%로 3.8 point 올랐다.
• 한계: 저자들은 실행 결과를 풀이만 보고 예측할 수 있고 실제 실행 일부를 anchor로 계속 쓸 수 있는 과제를 전제로 삼았고, 결과가 풀이로 알 수 없는 무작위성에 달린 과제에서는 WMRL이 표준 GRPO에 가까워진다고 적었다. 수렴 보장은 bias가 점수에 단조 왜곡으로 작용한다는 가정에 기대며, AutoResearch 실험은 Qwen3.5 4B와 9B 두 규모에서 했고 MLE-Dojo 과제는 sandbox에 맞게 분류마다 데이터가 가장 작은 20개 대회에서 골랐다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.