AREX-2: Advancing Self-Improving Agents through Long-Horizon Reflective Tasks

이 논문은 agent 학습 데이터가 한 번에 통과한 해답 위주라 여러 round에 걸친 개선 과정이 빠지는 문제를, ML engineering과 알고리즘 문제에서 실패와 회복까지 남긴 긴 개선 trajectory를 만들어 학습하는 방법으로 풀었다.

이 논문은 한마디로 모델이 여러 round에 걸쳐 스스로 해답을 고쳐 가도록, 피드백이 분명한 두 분야에서 긴 개선 과정 데이터를 만들어 Qwen3.8-27B를 학습시킨 AREX-2 보고서다. teacher 모델이 GitHub 저장소와 online judge 문제를 채점 가능한 환경으로 바꾸고, teacher agent가 몇 시간씩 고친 trajectory 가운데 최종 점수가 높은 것을 통째로 남긴다. AREX-2는 MLE-bench Lite 81.8, Frontier-CS 70.7을 냈고, 새 데이터를 넣지 않은 deep research 쪽에서도 BrowseComp 84.0으로 이전 AREX 모델보다 높았다. round 예산을 늘릴수록 점수가 계속 올랐지만, 가장 강한 모델과 비교한 BrowseComp와 HLE에는 차이가 남았다.

핵심 요약

• 문제: 해답을 시도하고 재고 고치는 loop가 대부분 모델 밖 scaffold에 구현돼 있어, 모델은 주로 한 번의 시도만 맡는다. agent 학습 데이터도 대개 통과한 해답만 남기는 방식으로 만들어져 중간 시도, 받은 피드백, 이어진 수정이 버려지고, 몇 시간에 걸친 개선 과정은 데이터에 거의 없다.
• 입력과 출력: 학습 데이터 구축 방법과 그 데이터로 학습한 모델을 낸 방법 논문이다. 모델은 과제와 채점 함수가 있는 환경에서 round마다 해답을 제출하고 점수, log, 오류 같은 피드백을 받아 다음 수정을 정하며, 지금까지 가장 좋은 점수가 결과가 된다. 학습 trajectory는 GitHub 저장소의 ML 과제와 online judge의 알고리즘 문제에서 만든다.
• 방법: teacher 모델이 저장소나 문제를 과제, 숨긴 데이터로 계산하는 채점 script, sandbox로 된 환경으로 바꾸고, 참조 해답은 점수를 얻고 단순 baseline은 그보다 훨씬 낮은 환경만 남긴다. teacher agent는 몇 시간, 수백 번의 tool 호출이라는 예산을 미리 알고 저장소 코드와 문서를 읽거나 작은 실험을 하며 운영 지식을 익히고, 점수가 떨어진 round도 trajectory에 남긴다. trajectory는 최종 점수와 절차 규칙으로 통째로 고르고, loss는 해답을 앞으로 나아가게 한 결정에만 준다.
• 구현: 고른 trajectory를 이전 AREX의 deep research 데이터와 섞어 Qwen3.8-27B를 fine-tuning했고, deep research 데이터는 그대로 두었다. 평가는 비코딩 benchmark에서 내부 turn 300, 전체 turn 1500을 상한으로 두고, Frontier-CS는 과제 188개에 과제당 5시간, MLE-bench Lite는 과제당 12시간과 skill 문서를 context에 넣은 조건으로 했다. 공식 저장소 README는 여섯 benchmark의 평가 실행 코드와 데이터셋 정의를 담았다고 밝히고 Hugging Face 모델 링크를 단다.
• 결과: AREX-2는 MLE-bench Lite Any Medal 81.8로 비교한 모델 중 가장 높았고 Frontier-CS 70.7로 공개 가중치 모델 중 가장 높았으며, deep research에서는 BrowseComp 84.0, HLE(text-only) 52.6, GAIA 92.2, DeepSearchQA 93.8로 이전 AREX(4B, 122B)보다 모두 높았다. Frontier-CS에서는 1시간 54.4, 2시간 65.9, 5시간 70.7로 계속 올랐고, 정답 피드백이 없는 BrowseComp에서도 질문당 평균 turn 47개일 때 64.8에서 143개일 때 84.0으로 올랐다. 단계별 ablation에서 기본 모델은 28.8, skill과 더 많은 round를 더하면 68.2, 같은 조건의 AREX-2는 81.8이었다.
• 한계: 저자는 가장 강한 모델과 비교한 BrowseComp와 HLE 결과에는 차이가 남는다고 밝혔다. MLE-bench Lite 점수는 skill 문서를 context에 넣은 조건이고, Frontier-CS 시간별 비교에서 AREX-2는 저자들이 최적화한 harness로 돌렸으며, AREX-2의 HLE 점수는 text-only subset 결과다. 학습 분야는 ML engineering과 알고리즘 프로그래밍 두 가지이고, 저자는 분야를 넓히고 horizon을 늘리는 일을 다음 과제로 들었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.