Towards Execution-Grounded Automated AI Research

이 논문은 LLM이 낸 연구 아이디어가 실제로 실행하면 효과가 없는 경우가 많은 문제를, 아이디어를 자동으로 구현해 GPU에서 돌리는 executor와 그 실행 결과를 쓰는 진화 탐색과 RL로 다뤘다.

이 논문은 한마디로 LLM이 낸 연구 아이디어를 자동으로 코드로 바꿔 GPU에서 돌리는 executor를 만들고, 그 실행 결과로 아이디어 생성 모델을 가르칠 수 있는지 시험한 연구다. LLM 사전학습을 다루는 nanoGPT 환경과 사후학습 알고리즘 GRPO(Group Relative Policy Optimization, 같은 prompt에서 뽑은 응답 group 안의 상대 점수로 policy를 갱신하는 RL 알고리즘)를 다루는 GRPO 환경에서, 실행 결과를 보며 아이디어를 고쳐 가는 진화 탐색은 10 epoch 안에 GRPO 환경의 validation 정확도를 baseline 48.0%에서 69.4%로 올린 방법과 nanoGPT의 목표 loss 도달 시간을 35.9분에서 19.7분으로 줄인 방법을 찾았다. 실행 결과를 reward로 쓴 RL은 평균 reward를 올렸지만 최고 reward는 뚜렷한 상승 없이 오르내렸고, 모델이 구현하기 쉬운 몇 가지 아이디어로 몰렸다.

핵심 요약

• 문제: 선행 연구에서 LLM이 낸 연구 아이디어는 그럴듯해 보여도 사람이 실제로 실행하면 효과가 없는 경우가 많았다. 실행 결과로 아이디어를 고르려면 자연어로 쓴 어떤 아이디어든 자동으로 대규모로 구현하고 돌려야 하는데, 이것이 가능한지와 LLM이 실행 결과에서 배울 수 있는지가 불분명했다.
• 입력과 출력: executor는 자연어 아이디어 batch를 받아 아이디어마다 code diff를 만들어 baseline 코드에 적용하고, GPU 실험을 돌려 아이디어별 benchmark 성능을 돌려준다. 환경은 124M GPT-2를 FineWeb으로 사전학습해 8개 H100에서 validation loss 3.28에 닿는 시간을 줄이는 nanoGPT(탐색 중에는 학습 시간을 25분으로 고정하고 validation loss의 역수를 점수로 쓴다)와, Qwen2.5-Math-1.5B를 MATH(수학 문제 dataset)로 학습하며 정해진 학습 시간 안의 MATH validation 최고 정확도를 올리는 GRPO 두 가지다. 논문 종류는 이 executor를 직접 만들고 그 위에서 진화 탐색과 RL을 비교 분석한 실증 연구(empirical study)다.
• 방법: executor에서 Implementer는 아이디어와 baseline 코드를 code LLM에 넣어 diff 10개를 병렬로 받고 patch가 실패하면 patch log를 주고 최대 2번 고치게 한 뒤 처음 적용되는 diff를 쓰며, Scheduler가 GPU 자원을 배정하고 Worker가 실험 결과를 wandb에 올린다. 진화 탐색은 첫 epoch을 새 아이디어로 채운 뒤, baseline을 넘은 아이디어를 prompt에 넣어 변형을 만드는 exploitation과 이전 아이디어와 다른 새 아이디어를 만드는 exploration을 50%씩으로 시작해 epoch이 지날수록 exploitation 비중을 늘린다. RL은 Qwen3-30B-A3B를 GRPO로 학습하며 실행 결과(정확도 또는 1/loss)를 reward로 쓰고 실행에 실패한 아이디어에는 reward 0을 준다.
• 구현: 진화 탐색은 한 모델이 아이디어를 내는 ideator와 구현하는 executor를 함께 맡는 self-execution 설정으로 Claude-4.5-Opus, Claude-4.5-Sonnet, GPT-5를 돌렸고 epoch마다 GRPO에서 아이디어 50개, nanoGPT에서 80개를 실행했으며, RL은 group 크기 256(GRPO)과 128(nanoGPT)로 batch 하나에 GPU 256개나 1024개를 병렬로 썼다. 각 모델이 자기 아이디어 50개를 스스로 구현한 시험에서 nanoGPT 실행 완료율은 Claude-4.5-Opus 96%, Claude-4.5-Sonnet 90%, GPT-5 64%였고, GPT-5가 다른 ideator 4개의 아이디어를 구현할 때 완료율은 42%에서 78%였다. 공식 GitHub 저장소에는 README 기준으로 두 환경 코드(env/grpo, env/nanogpt)와 진화 탐색 코드(agent/)가 있고, 세 모델과 두 환경의 아이디어 궤적 6개는 Hugging Face dataset으로 따로 공개됐으며, GPU 작업을 돌리는 실행 API는 사용자가 직접 구현해야 한다.
• 결과: 10 epoch 안에 Claude-4.5-Sonnet의 진화 탐색은 GRPO 환경에서 validation 정확도 69.4%(baseline 48.0%, Stanford CS336(대학원 LLM 수업)의 수강생 최고 68.8%)를, Claude-4.5-Opus의 진화 탐색은 nanoGPT 환경에서 목표 loss 3.28까지 19.7분(baseline 35.9분)이 걸리는 방법을 찾았고, nanoGPT speedrun 순위표의 사람 최고 기록은 2.1분 아래다. nanoGPT에서 GPT-5로 처음 3 epoch을 같은 sampling 예산의 best-of-N(N개를 뽑아 가장 좋은 것을 고르는 방식, N은 80, 160, 240)과 비교하자 진화 탐색이 epoch 1부터 높았고, 세 모델 가운데 뚜렷한 scaling 곡선을 보인 모델은 Claude-4.5-Opus였으며 Claude-4.5-Sonnet과 GPT-5는 일찍 포화하는 경향을 보였다. Qwen3-30B-A3B의 RL은 GRPO 환경의 평균 정확도를 0.253에서 0.343으로 올렸지만 최고 reward는 뚜렷한 상승 없이 오르내렸고, nanoGPT에서는 epoch마다 뽑은 아이디어 128개 가운데 흔한 두 아이디어가 epoch 0의 51개에서 epoch 68의 119개로 늘었다.
• 한계: 저자들은 작은 규모에서 고른 아이디어가 더 큰 규모나 다른 데이터에서도 효과를 낼지는 현재 절차의 시험 범위 밖이라고 밝혔다. 실험 범위는 실행 agent의 능력에 묶여 있어 실행에 실패한 유망한 아이디어가 많고 이것이 reward에 noise를 만들며, 실행 오류는 대부분 복잡한 변경이나 실행 환경에 없는 외부 package 설치가 필요한 아이디어에서 났다. reward로는 효과만 썼고 참신성 평가는 범위 밖이며, RL의 붕괴를 막으려던 dynamic prompt, length reward, 유사도 penalty 시도는 초기 epoch에서 뚜렷한 개선이 없어 일찍 멈췄다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.