RankEvolve: A Reliable Multi-Agent Auto-Research Harness for Evolving Ranking Models

이 논문은 ML model을 여러 iteration에 걸쳐 고치는 auto-research agent가 실행은 되지만 결과를 무효로 만드는 코드 결함으로 실험을 망치는 문제를, 절차를 state machine으로 강제하는 protocol과 서로 다른 coding agent 제품이 서로의 작업을 검토하고 고치는 harness로 다뤘다.

이 논문은 한마디로 추천 순위 model을 자동으로 개선하는 연구 agent의 실행 정확도를 높이려고, 절차를 강제하는 runtime, 서로 다른 coding agent 제품의 교차 검토, 결과와 실패를 다음 iteration으로 넘기는 knowledge layer를 묶은 auto-research harness RankEvolve를 만들고 평가한 시스템 논문이다. RankEvolve는 HSTU(공개된 생성형 추천 model)를 12번의 iteration 동안 개선해 MovieLens-20M 큰 설정(LARGE)에서 NDCG(Normalized Discounted Cumulative Gain)@10 0.2192를 보고했고, 이는 HSTU 원논문 수치 0.2098보다 4.48% 높다. 배포 중 생긴 사고로 만든 benchmark ExecML의 HSTU task에서 Claude Code, Codex, Claude Code 순서로 구현, 검토, 수정한 흐름은 실행 정확도 62.5%로, 같은 예산을 Claude Code 한 제품에 쓴 조건 가운데 가장 높은 45.8%를 넘었다. 다만 근거는 Python과 PyTorch로 된 codebase 두 곳에 한정되고, HSTU 사례에서는 gate의 사람 operator가 방향도 정해 agent의 몫을 따로 떼어 볼 수 없다.

핵심 요약

• 문제: model 변경을 제안, 구현, 학습, 평가하는 auto-research agent에서 저자들의 설정은 실행 정확도가 성과를 제한하는 제약이다. held-out 데이터 유출, 빠진 layer norm, 끊긴 gradient, 연결이 빠진 train/eval flag 같은 결함 하나가 가속기 몇 시간을 쓰고 무효한 지표를 내며, iteration이 쌓이면 피해가 누적되고 run이 정해진 절차에서 벗어난다. 저자들이 동기로 든 예비 감사에서는 전체 절차를 한 번에 context로 준 run 10개 가운데 절차를 끝까지 지킨 run이 0개였고, 10개 모두 고른 제안의 일부만 실행했다.
• 입력과 출력: ML codebase와 데이터, 단계와 gate를 적은 EOP(Executable Operating Protocol) 문서, gate에서의 사람 결정을 받아, flag로 켜고 끄는 코드 변경, 학습 run, 부정적 결과까지 담은 leaderboard 항목, 근거 기록을 낸다. 실행 정확도 평가에서는 고정된 repository snapshot과 변경 요청을 받아 patch를 내고, 숨긴 실행 oracle이 그 patch를 통과나 실패로 판정한다. 논문 종류는 실제로 배포한 harness를 다룬 시스템 논문이며, HSTU 배포 사례 연구와 그 사고로 만든 benchmark ExecML 평가를 함께 실었다.
• 방법: EOP는 단계, 의존 관계, 필요한 tool, 사람 확인 gate, branch와 loop를 한 번 선언한 문서이고, runtime이 이를 state machine으로 compile해 순서와 gate를 강제하며 단계마다 전역 서문과 지금 단계의 지시만 context에 넣는다. meta-meta-harness는 Claude Code, Codex, OpenHands 같은 완성된 coding agent 제품을 adapter 계약으로 실행 graph의 node에 붙여, 한 제품이 구현하면 다른 제품이 검토하고 고치는 Dual loop(검토자가 승인하거나 남은 심각도가 threshold 아래로 내려갈 때까지 정해진 횟수 안에서 반복)와 작업을 나눴다가 합치는 흐름을 만든다. knowledge layer는 제안마다 hash, prompt, patch, test 출력, 설정, 지표, 비용, 승격 결정을 남기고, 코드 옆 note, 중앙 wiki, entity graph로 교훈을 정리해 단계마다 관련 교훈 몇 개만 넣는다.
• 구현: HSTU 사례에는 공개 HSTU 구현과 공개 MovieLens 데이터를 썼고, 작업 공간에는 NVIDIA H200 1개에서 8개로 돌린 실험 폴더 49개와 leaderboard 항목 약 55개가 남았으며, 사람 operator가 gate에서 계산 자원을 승인하고 예산을 넘는 실험 하나를 거부했다. ExecML은 HSTU와 LitGPT(언어 model 학습 codebase)에서 각각 비공개 task 96개를 데이터 유출, tensor routing, gradient 흐름, train/eval mode, 지표 의미, 설정 연결의 여섯 사고 유형에 고르게 나누고 절반은 새 구현, 절반은 수정으로 만들었으며, Claude Code는 Claude Opus 4.8을, Codex는 GPT-5.6을 최대 reasoning effort로 썼다. 부록 B는 failure-overlap 분석기, leaderboard schema, boost-last-K patch를 codebase와 함께 공개할 예정이라고 적었다.
• 결과: 12번의 iteration 뒤 RankEvolve는 HSTU의 NDCG@10을 MovieLens-20M 큰 설정에서 0.2192(원논문 수치 0.2098 대비 +4.48%), 기본 설정(BASE)에서 0.1948(0.1895 대비 +2.80%)로 보고했고, 0.2192는 새 model 구조 대신 장르 side-feature를 더해 얻은 값이다. 관찰 가능한 추론 예산을 맞춘 ExecML HSTU task 96개에서 Claude Code, Codex, Claude Code 순서의 흐름은 실행 정확도 62.5%로 가장 강한 단일 제품 조건인 Claude Code 세 역할 흐름(45.8%)보다 16.7점 높았고(95% 신뢰구간 6.6에서 26.7), patch가 실행은 되지만 과학적 결론을 무효로 만들 수 있는 치명 결함의 비율(silent critical-defect rate)은 한 번 실행한 Claude Code의 35.4%에서 10.4%로 낮았다. LitGPT에서도 같은 흐름이 56.2%로 43.8%보다 12.5점 높았고(95% 신뢰구간 3.0에서 22.0), runtime을 같게 둔 비교에서 지금 단계의 지시만 넣는 방식은 전체 protocol을 넣는 방식보다 실행 정확도가 초반 단계에서 2.1점, 중반에서 6.2점, 후반에서 10.4점 높았다.
• 한계: 저자들은 근거가 Python과 PyTorch로 된 codebase 두 곳(순위 model 하나와 LitGPT)에 그쳐 다른 분야로의 일반화가 완전히 확립되지 못했고, oracle이 불완전해 잘못된 통과를 줄일 뿐 없애지는 못하며, 공개 저장소가 사전 학습 데이터에 들어갔을 수 있다고 밝혔다. knowledge layer는 memory를 켜고 끄는 ablation이 없어 제안 품질에 준 몫을 따로 재지 못했고, HSTU 사례는 gate의 사람 operator가 방향도 정해 agent와 사람의 몫을 나누지 못하며, 다른 dataset으로 옮긴 결과는 한 번씩 돌린 값이다. 배포에 쓴 plan-merge 흐름은 HSTU 실행 정확도 70.8%로 가장 높았지만 다시 돌린 비교 흐름과의 차이 8.3점은 통계적으로 구별되지 않았고(p=0.077), 저자들은 연구 기간의 개선이 모두 기존 요소의 조합이었다고 적었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.