The Automated LLM Speedrunning Benchmark: Reproducing NanoGPT Improvements

이 논문은 AI 연구 agent가 이미 알려진 연구 개선을 다시 구현할 수 있는지 재는 문제를, NanoGPT Speedrun의 GPT-2 학습 시간 단축 기록 19개를 hint와 함께 재현하게 하는 benchmark로 풀었다.

이 논문은 한마디로 LLM agent가 사람이 앞서 찾은 GPT-2 학습 가속 기법을 다시 구현할 수 있는지 재는 benchmark다. agent는 이전 기록의 학습 script와 pseudocode, 글 설명, mini-paper 수준의 hint를 받아 FineWeb 검증 loss 3.28에 더 빨리 닿는 script를 만들고, 점수는 사람 기록이 줄인 학습 시간 가운데 되찾은 비율(FSR)이다. 기록 19개, 모델 4개, 탐색 방식 5개, hint 조건 6개, seed 3개로 모두 6,840번 실행한 결과, 가장 나은 o3-mini는 pseudocode hint를 받았을 때 FSR 0.40에서 0.43이었고 세 hint를 합친 최고값은 Multi-AIDE 탐색 방식의 0.46이었다. 저자들은 hint를 사람이 정해 바로 넣어 준 점과 모델이 기록을 학습 중에 봤을 가능성을 한계로 들었다.

핵심 요약

• 문제: 과학 결과는 재현돼야 믿을 수 있어서, 자동화된 과학에는 실험 설명을 받아 다시 구현하고 보고된 결과를 다시 얻는 자동 재현 능력이 필요하다. 기존 재현 benchmark는 서로 관련 없는 경우가 많은 여러 논문으로 평가하므로, 저자들은 LLM 학습 가속이라는 한 과제에서 쌓여 온 여러 연구 개선을 차례로 재현하는 능력을 재는 benchmark를 만든다.
• 입력과 출력: benchmark 논문이다. 과제 19개마다 agent는 이전 기록의 GPT-2 학습 script(train_gpt2.py)와 선택적으로 세 수준의 hint(pseudocode, 글 설명, 논문 형식의 mini-paper)를 받고, FineWeb 검증 loss 3.28에 더 빨리 닿는 새 학습 script를 낸다. 점수는 사람이 만든 다음 기록의 학습 시간 단축 가운데 agent가 되찾은 비율인 FSR(fraction of speedup recovered)이고, hint 없이 스스로 개선을 찾게 하는 record optimization 과제도 둔다.
• 방법: 저자들은 AIDE(AI-driven exploration in the space of code)를 일반화한 탐색 scaffold(LLM을 반복 호출해 해답을 찾는 프로그램)를 함께 낸다. 탐색 tree의 node 하나는 학습 script와 결과 파일을 담은 해답이고, 매 단계 coding assistant인 Aider가 diff 방식으로 코드를 고치고(구현), 8xH100 node에서 실행하고(실행), 출력을 자연어로 요약한다(분석). 가지 수와 debug 확률을 바꿔 Flat(best-of-M), Tree, Forest, AIDE, Multi-AIDE의 다섯 탐색 방식을 만들고 같은 탐색 단계 예산으로 비교한다.
• 구현: 기록 19개마다 DeepSeek-R1, o3-mini, Gemini-2.5-Pro, Claude-3.7-Sonnet을 다섯 탐색 방식, 여섯 hint 조건, seed 3개로 실행해 agent 실행은 모두 6,840번이었고, 해답 하나의 실행 시간 상한은 60분, agent 실행 하나는 평균 약 10시간 걸렸다. hint는 R1이 초안을 쓰고 사람이 확인한 뒤 필요한 곳을 고쳤으며, 탐색 설정은 N0 = 3, N = 3, pdebug = 0.5, Dmax = 5, 탐색 예산 M = 20 node였다. 공식 저장소 facebookresearch/llm-speedrunner는 README 기준으로 scaffold 코드(core), 과제별 시작 workspace, 수준별 hint 데이터, 논문 실험용 Slurm launch script, 분석 notebook을 공개한다.
• 결과: hint가 없으면 모든 agent가 되찾은 속도 향상이 사람 해답의 평균 20% 이하였다. 가장 나은 o3-mini는 pseudocode hint를 받았을 때 다섯 탐색 방식에서 FSR 0.40에서 0.43이었고, 세 hint를 함께 받았을 때는 Multi-AIDE에서 0.46으로 가장 높았으나 나머지 네 방식에서는 0.24에서 0.39로 pseudocode 하나를 받았을 때보다 낮았다. o3-mini가 자기가 만든 코드 위에서 다음 기록을 이어 재현하는 누적 실험에서는 첫 과제에서 약 60%를 되찾았으나 다음 과제는 약 20%로 떨어졌고, 세 번째 기록에서는 되찾은 속도 향상이 없었다.
• 한계: 저자들은 hint가 짧고 사람이 정해 과제에 바로 넣어 주는 방식이라, agent가 function calling과 memory로 외부 지식을 찾아 쓰는 더 현실적인 설정은 앞으로 할 일로 남겼다. 많은 기록이 실험한 모델들의 knowledge cut-off(학습 데이터 마감 시점) 전에 공개됐을 수 있어 모델이 해답을 이미 봤을 가능성이 있고, 저자들은 모델이 benchmark를 포화시키기 시작하면 암기와 일반화를 따로 가리는 일이 더 필요해질 수 있다고 보았다. 이 benchmark는 새 개선을 만드는 능력보다 재현 능력을 주로 재며, 저자들은 머신러닝 분야 전반의 다음 발전에도 통하는 agent를 만들려면 여러 파일의 codebase, 학습 시간 밖의 지표, 한 node를 넘는 분산 학습을 다루는 더 복잡한 과제가 필요하다고 보았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.