AutoResearch at Production Scale: Failure Modes and a Multi-Agent Framework

이 논문은 LLM이 학습 코드를 고쳐 지표를 올리는 AutoResearch를 반복 한 번에 몇 시간이 들고 평가 기준이 여럿인 운영 환경에 옮겼을 때 생기는 실패를, 실행 전 검사와 작업 간 기억과 정체 시 방향 전환을 맡는 세 agent 구조로 풀었다.

이 논문은 한마디로 Amazon 도서 추천 pipeline의 두 시스템에서 12주 동안 220회 넘게 AutoResearch 실험을 돌리며 얻은 실패 유형과 대응 설계를 정리한 사례 연구다. 저자들은 인프라 취약성, agent 기억 감쇠, 탐색 방향 정체, 반복 비용 비대칭, 지표 고착이라는 다섯 실패 유형을 관찰했다. 실행 전 Code Fixer, 정체 때만 개입하는 Criticizer, 작업 간 기억 저장을 더한 System A는 Recall@6(가까운 이웃 6개 추천에 실제 다음 구매가 들어가는 비율)을 사람이 조정한 baseline의 1.82배로 올렸다. 두 시스템은 반복당 비용이 약 760배 차이 나지만 같은 실패 유형을 보였고, 저자들은 이를 운영 규모 자율 연구의 구조적 성질로 해석했다.

핵심 요약

• 문제: Karpathy의 AutoResearch는 LLM이 학습 script를 고치고 held-out 지표 하나가 오르면 변경을 남기는 방식으로, 단일 GPU에서 5분짜리 언어 모델 실험으로 효과를 보였다. 운영 환경에서는 반복 한 번에 여러 GPU로 몇 시간이 들고, 평가 기준이 서로 경쟁하며, 작업이 몇 주에 걸쳐 context window 하나를 넘는데, 저자들이 아는 한 이런 조건에서 AutoResearch를 돌린 보고는 없었다.
• 입력과 출력: 이 논문은 Amazon 도서 추천 pipeline에서 12주 동안 AutoResearch를 실제로 돌린 사례 연구(case study)다. agent는 학습 script(train.py), 지침과 누적 발견을 담은 program.md, 바꿀 수 없는 평가기를 받아 코드나 설정을 고친 학습 run을 내고, 평가 점수가 오르면 그 변경을 남긴다. 논문이 내놓은 것은 다섯 가지 실패 유형 분류, 세 원칙의 scaffolding 설계, 반복 비용에 맞춰 각 장치의 비중을 정하라는 원칙이다.
• 방법: 저자들은 실패를 미리 막는 prevent, 지식을 이어 가는 persist, 정체된 탐색의 방향을 바꾸는 redirect 세 원칙으로 scaffolding을 구성했다. 비싼 System A에서는 Code Fixer agent가 실행 전에 script를 한 번에 고쳐 쓰고, Criticizer agent는 최근 5회 반복 동안 최고 Recall@6의 상대 개선이 8% 이하일 때만 2문장에서 5문장의 방향 지시를 내며, program.md를 S3 저장소에 두어 학습 job 사이에 기억을 잇는다. 싼 System B에서는 실행 뒤 자동 되돌리기, 사람의 run 간 방향 전환, 사람이 관리하는 program.md로 같은 원칙을 구현했다.
• 구현: System A는 활성 카탈로그의 98%를 덮는 128차원 구매 최적화 retrieval embedding을 여러 GPU로 학습하며 반복 한 번에 9시간에서 19시간이 걸리고, Researcher는 claude-sonnet-4-6을, Code Fixer와 Criticizer는 claude-opus-4-6을 사용한다. System B는 RQ-VAE(각 단계가 앞 단계의 잔차를 양자화하는 모델)로 탐색된 도서 50% 이상에 계층형 Semantic ID를 붙이며 GPU 1개에서 반복당 6분에서 52분이 걸리고, 반복 한 번 비용은 System A가 System B의 약 760배다. 저자들은 학습 데이터가 사내 자료라 공개할 수 없다고 밝혔다.
• 결과: code 수준 AutoResearch와 세 agent로 System A는 Recall@6 6.90%에 이르러 사람이 조정한 baseline 3.79%의 1.82배, 배포된 retrieval baseline 2.82%의 2.45배를 냈고, 평가일 11개의 평균은 6.18%였다. agent는 행동 graph에 없는 약 83% 항목에 텍스트만으로 embedding을 주는 fallback을 스스로 설계해 카탈로그 coverage를 5.8배 넓혔다. System B는 weighted coherence(같은 cluster 안 도서들의 유사도를 단계별로 가중 평균한 값)를 0.348에서 0.735로 올렸고, 가장 큰 단일 개선(0.348에서 0.691)은 agent가 스스로 냈으며 최고값은 사람이 behavioral+content embedding으로 방향을 바꾼 뒤에 나왔다.
• 한계: System A의 component 기여 분석은 통제 실험 대신 캠페인의 자연스러운 전환 시점을 비교한 관찰 결과이고, 두 시스템 모두 한 조직의 도서 추천 영역에 속한다. Recall@6과 weighted coherence는 오프라인 대리 지표이며 이 연구에서 실제 고객 성과와 대조하지 않았고, 온라인 pilot은 진행 중이다. 지표 고착(metric fixation)은 일부만 완화됐고 agent가 지표 자체를 의심하는 단계가 빠져 있어, 저자들은 시스템이 완전히 사람 손 없이 실행될 수는 없고 run 사이에 사람의 QA가 필요하다고 밝혔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.