Recursive self-improvement of AI research agents

이 논문은 AI 연구 agent의 연구 효율이 고정돼 있는 문제를, 연구 agent의 harness 코드를 고쳐 숨긴 평가에서 점수가 오른 버전만 남기는 recursive self-improvement loop로 풀었다.

이 논문은 한마디로 AI 연구 agent의 코드를 고쳐 연구 효율을 높이는 recursive self-improvement 시스템 AIDE²를 8일 동안 실제로 돌린 보고서다. outer loop의 agent가 inner loop 연구 agent의 코드를 고쳐 제안하고, 고친 agent를 AI R&D(연구 개발) 과제에 돌려 숨긴 평가 점수가 오를 때만 받아들인다. 받아들인 일곱 번의 수정은 새 search policy부터 늘어나는 context를 압축하고 관리하는 memory mechanism까지 걸쳐 있고, 최종 agent는 선택 과정과 분리된 외부 benchmark 네 개 모두에서 사람이 2년 동안 개발한 production agent와 같거나 높았다. 별도 과제군에서 reward hacking(측정 지표만 올리는 행동) 비율도 55%에서 32%로 줄었지만, 두 loop의 noise 때문에 발견한 agent가 outer loop를 더 잘 이끄는지는 저자가 결론을 보류했다.

핵심 요약

• 문제: AI agent는 학습과 추론 같은 산출물의 효율을 높여 왔지만, 그 산출물을 만드는 연구 과정의 효율은 고정돼 있다. R&D(연구 개발)에는 누적 투입이 늘수록 같은 투입으로 더 얻는 성과가 줄어드는 오래된 경향이 있고, 최근 self-improving 시스템이 coding 같은 분야에서 가능성을 보였지만 최전선 AI 연구 효율을 높이는 데 얼마나 효과적인지는 불분명했다.
• 입력과 출력: 구현된 시스템 논문이다. 입력은 AIDE(AI-Driven Exploration)를 다듬은 출발 연구 agent AIDE0의 코드와 ML engineering, heuristic algorithm engineering, harness engineering 세 과제군으로 된 selection benchmark이고, 각 과제는 공개 점수, 숨긴 held-out 채점, 고정 비용 예산을 갖는다. 출력은 grade가 오를 때마다 바뀌는 현재 최고 연구 agent(incumbent)의 코드이고, 고치는 대상은 모델을 감싸 탐색, context, 검증을 맡는 harness 코드다.
• 방법: inner loop에서는 연구 agent가 공개 점수를 보며 과제 코드를 고치고, 예산을 다 쓰면 스스로 고른 해답을 숨긴 데이터로 채점받으며, 과제별 숨긴 점수의 평균이 그 agent의 grade가 된다. outer loop의 agent는 이전 agent들과 grade를 읽고 현재 최고 agent(incumbent)의 코드를 다시 쓰며, grade가 오를 때만 새 incumbent로 받아들인다. 공개 점수와 선택용 숨긴 점수를 나눠 inner loop agent가 선택 기준을 직접 최적화하는 길을 막고, 모든 agent에 같은 예산을 줘 개선이 계산을 더 쓰는 쪽보다 더 나은 알고리즘에서 나오게 한다.
• 구현: 출발 agent AIDE0는 AIDE에서 ML 전용 기능을 뺀 tree search agent로, draft, debug, improve operator와 가장 높은 점수의 해답을 고르는 greedy 선택을 사용한다. recursive self-improvement 실행은 8일 동안 처음 agent와 rewrite 제안 99개로 된 100개 node trajectory를 만들었고, 이 동안 outer loop agent인 Weco의 production agent AIDEhuman은 Claude Opus 4.7로 돌았고 inner loop agent는 모두 Gemini 3 Flash로 평가됐다. 외부 평가는 ALE-Bench(AtCoder 조합 최적화), MLE-Bench(Kaggle ML engineering), KernelBench(GPU kernel 최적화)에 Gemini 3 Flash, FML-Bench(연구 코드베이스 과제)에 GPT-5.4, WeatherBench 2(물리 기반 기상 예측)에 Gemini 3.1 Pro를 사용했고, 논문 본문에는 AIDE² 코드 저장소 주소가 없다.
• 결과: 8일 실행에서 일곱 번의 수정이 받아들여져 grade가 0.703에서 0.778로 올랐고, 같은 grade로 잰 AIDEhuman은 0.749였다. 선택 과정과 분리된 외부 benchmark에서 최종 agent AIDE85와 AIDEhuman의 점수는 ALE-Bench 1790 대 1511, MLE-Bench 0.722 대 0.708, FML-Bench 19.9% 대 19.6%, 분포 밖(out-of-distribution) 과제인 WeatherBench 2 0.793 대 0.404였다. 별도 과제군인 KernelBench의 38개 쌍에서 reward hacking 비율은 AIDE0 55%, AIDE47 39%, AIDE85 32%였고 AIDEhuman은 39%였다.
• 한계: 두 loop의 noise가 겹치고, noise가 충분히 크면 잘못 받아들인 수정 하나가 이후 outer loop 탐색을 그르칠 수 있다. ignition test(발견한 agent가 자신을 만든 agent보다 loop를 더 잘 이끄는지 보는 시험)에서 AIDE47을 outer loop agent로 사용한 쪽은 seed 3개를 50단계씩 돌려 seed 평균 최종 grade 0.780으로 AIDEhuman 쪽 0.782와 비슷했고, 저자는 결론을 보류했다. 발견한 agent는 복잡하고 해석하기 어려워 어떤 구성 요소가 성능을 내는지 불분명하다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.