AIRA_2: Overcoming Bottlenecks in AI Research Agents

이 논문은 AI 연구 agent의 처리량, 평가 잡음, 고정 operator라는 세 병목을 비동기 다중 GPU 진화 탐색, Hidden Consistent Evaluation(HCE, agent에게 라벨을 숨긴 고정 평가), ReAct agent로 풀었다.

이 논문은 한마디로 Kaggle형 ML 과제를 푸는 연구 agent의 세 가지 병목을 구조로 고친 시스템이다. 중앙 orchestrator가 GPU worker들에 진화 탐색 작업을 비동기로 나눠 주고, 각 작업은 ReAct agent가 코드를 직접 실행하며 처리하고, 점수는 agent에게 라벨을 숨긴 별도 평가로 매긴다. MLE-bench-30에서 Gemini 3.1을 쓴 버전은 24시간에 평균 Percentile Rank(Kaggle 순위표에서 앞지른 참가자 비율) 81.5%로 가장 강한 baseline의 72.7%를 넘었다. 저자들은 선행 연구가 말한 과적합이 실제 데이터 암기보다 평가 잡음에서 왔다고 분석했다.

핵심 요약

• 문제: 선행 연구 AIRA-dojo는 AI 연구 agent의 성능을 막는 구조적 병목 세 가지를 정리했다. 동기식 단일 GPU 실행은 계산이 무거운 task에서 하루 평가 후보를 약 1개에서 20개로 묶어 두고, 검증 점수로 해법을 고르면 탐색이 길어질수록 성능이 떨어진다. 한 번의 prompt 응답으로 끝나는 고정 operator도 탐색 성능에 상한을 둔다.
• 입력과 출력: 이 논문은 구현된 연구 agent 시스템이다. 입력은 학습 데이터와 평가 지표가 있는 ML task로, 주 평가는 Kaggle 대회 30개로 이뤄진 MLE-bench-30(난도 하 5개, 중 20개, 상 5개)이고 보조 평가는 연구 문제 20개로 이뤄진 AIRS-Bench다. 출력은 탐색이 만든 후보 해법 코드 가운데 최종 선택된 해법의 test set 예측이다.
• 방법: 중앙 orchestrator가 후보 해법 집단을 두고 steady-state 진화 탐색(worker가 빌 때마다 바로 다음 후보를 진행하는 방식)을 하며, 순위 기반 선택으로 부모를 골라 변이나 교차 작업을 보낸다. 각 작업은 Python과 Bash를 직접 실행하며 탐색하고 디버깅하는 ReAct agent가 맡는다. Hidden Consistent Evaluation은 라벨 데이터를 한 번만 80%/10%/10%로 나누고, 탐색 점수용 split과 최종 선택용 split의 라벨을 agent에게 숨긴 채 별도 container에서 평가한다.
• 구현: 실험은 NVIDIA H200 GPU(141GB) 8개에 worker를 하나씩 붙이고, worker마다 CPU core 12개와 RAM 120GB를 준다. 코드는 Python과 ML package가 미리 설치된 Apptainer container(Superimage)에서 실행되고, 코드 실행 한 번은 9시간으로 제한된다. 기본 AIRA2는 Gemini 3.0 Pro Preview를, 상위 버전은 Gemini 3.1 Pro Preview를 쓰고, task마다 72시간씩 seed 3개로 실행했다.
• 결과: MLE-bench-30에서 Gemini 3.1을 쓴 AIRA2의 평균 Percentile Rank는 24시간에 81.5%, 72시간에 83.1%로, 가장 강한 baseline인 CobraAgent의 72.7%보다 높았다. ablation 분석에서 HCE는 24시간에 13.0점, 72시간에 18.4점의 Percentile Rank 개선에 기여했다. AIRS-Bench에서는 20개 task 가운데 11개에서 기존 SOTA(최고 기록)를 넘었고, 코드를 직접 감사하니 그중 6개만 깨끗한 방법이었고 나머지는 데이터 오염이나 test 정답 유출 같은 지름길에 기댔다.
• 한계: 저자들은 공개된 Kaggle 상위 해법을 LLM이 사전학습에서 봤을 수 있어, 성능 향상이 실제 추론에서 왔는지 기억된 해법을 꺼낸 데서 왔는지 가리기 어렵다고 밝혔다. 평가 split을 미리 나누는 데 사람이 한 번 손을 대고, 설계가 다중 GPU와 긴 탐색에 맞춰져 있어 짧은 실행이나 단일 GPU 환경에서는 가벼운 agent의 즉시 효율을 포기한다. 비교한 baseline은 GPU 1개나 2개를 썼고, 비교에는 그들이 공개한 결과를 썼다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.