AutoSOTA: An End-to-End Automated Research System for State-of-the-Art AI Model Discovery

이 논문은 AI 학회 논문의 공개 코드를 재현한 뒤 원래 방법보다 나은 코드를 찾는 일을, 여덟 agent가 준비, 실행, 개선 단계를 나눠 맡는 multi-agent 시스템으로 풀었다.

이 논문은 한마디로 최근 AI 학회 논문을 받아 공식 저장소와 실행 환경을 되살리고 baseline을 재현한 뒤, 원래 방법을 넘는 새 SOTA(State-Of-The-Art, 보고된 최고 성능) model을 찾는 여덟 agent 시스템 AutoSOTA를 다룬 시스템 논문이다. AgentScheduler가 git snapshot, 코드 수정, 평가, 기록을 반복하고, AgentSupervisor가 평가 script 수정이나 test 데이터 누출 같은 지름길을 red line 규칙으로 막는다. 저자들은 여덟 학회 논문을 여러 단계로 거른 125편 가운데 105편에서 원래 방법을 넘는 결과를 찾았고, 논문 한 편에 약 다섯 시간이 걸렸다고 보고했다. 개선 내용을 분류하면 125편 가운데 64편(51%)이 알고리즘이나 구조를 바꾼 경우였고, 20편(16%)은 Class C(최적화 실패)로 분류됐다.

핵심 요약

• 문제: AI 연구에서 SOTA 성능을 내려면 구현, 재현, 디버깅, 평가, 반성을 오래 반복해야 하고, 필요한 자료는 논문, 저장소, dataset, checkpoint, 문서에 없는 엔지니어링 가정에 나뉘어 있다. 저자들은 AutoResearch 같은 기존 반복 framework가 정리된 sandbox 안에서 code module 하나만 고치게 해서, 논문에서 출발해 실행 환경을 되살리고 보고된 baseline을 재현하는 과정이 빠져 있다고 보았다.
• 입력과 출력: 주요 AI 학회 논문 한 편을 받아, 논문이 제안한 방법보다 핵심 지표에서 더 나은 성능을 내는 실행 가능한 코드 저장소를 낸다. 마지막 단계에서는 최고 점수 상태로 되돌린 container를 Docker image(autosota/paper:optimized)로 저장하고 전체 저장소를 host로 꺼낸다. 논문 종류는 여덟 agent를 구현하고 학회 논문 125편에서 실험한 시스템 논문이다.
• 방법: 여덟 agent가 준비(AgentResource, AgentObjective), 실행(AgentInit, AgentMonitor, AgentFix), 개선(AgentIdeator, AgentScheduler, AgentSupervisor) 단계를 나눠 맡고, 실행 단계와 개선 단계는 결과를 주고받으며 반복한다. AgentScheduler는 최근 세 번의 반복이 모두 parameter 조정이었으면 다음 반복을 구조를 바꾸는 Leap Path로 넘기고, 그 첫 결과가 최고 점수를 갱신하지 못하면 최대 다섯 번 더 반복한 뒤 Leap 이전의 최적 상태로 되돌린다. AgentSupervisor는 평가 script 수정, test 데이터의 학습 사용, 예측값 하드코딩 같은 지름길을 red line 규칙(R1에서 R7)으로 막는다.
• 구현: 평가용 논문은 여덟 학회(NeurIPS, ICLR, ICML, CVPR, ICCV, ACL, NAACL, AAAI)의 최근 1년 채택 논문을 방법 논문, 공개 code 링크, 저장소 준비 상태로 거른 2,347편에서 745편을 예비 실행하고, 환경 설치에 실패하거나 재현 한 번에 4 GPU 시간을 넘는 논문을 빼서 고른 125편이다. AgentInit은 Repo2Run으로 환경을 만들고 자동 구성이 실패하면 수동 Docker 구성으로 넘어가며, AgentScheduler는 container 안에서 원래 코드를 _baseline tag로 commit하고 직접 잰 baseline 값을 scores.jsonl에 iteration 0으로 기록한다. 저장소 구조, hypothesis 목록, 사전 문헌 조사 결과는 code_analysis.md, idea_library.md, research_report.md 문서로 남기고, scheduler는 GPU 두 장을 한 단위로 묶어 단위마다 한 번에 task를 하나까지 실행한다.
• 결과: 거른 125편 가운데 105편에서 원래 방법을 넘는 새 SOTA model을 찾았고, 저자들은 논문마다 정한 핵심 지표 하나에서 잰 개선이 평균 10%에 가깝고 논문 한 편에 약 다섯 시간이 걸렸다고 보고했다. 개선 내용을 분류하면 loss 함수 재설계나 구조 변경 같은 알고리즘 개선(Class A)이 64편(51%)으로 평균 8.82%를, hyperparameter 조정(Class B)이 41편(33%)으로 평균 5.67%를 올렸다. 사례 연구에서 FR-Spec(speculative decoding으로 LLM 추론을 빠르게 하는 방법)의 throughput은 초당 token 674.58개에서 765.27개로 13.44% 올랐고, 용량 제약 차량 경로 문제(CVRP)에서 MoSES(Mixture of Specialized Experts 기반의 다중 task 차량 경로 solver)의 optimality gap(최적해와의 차이)은 0.914%에서 0.444%로 줄었다.
• 한계: 125편 가운데 20편(16%)은 Class C(최적화 실패)였고, 저자들은 이 사례를 AgentSupervisor가 최적화 중의 잠재적 위반을 잡거나 막지 못한 invalid optimization으로 설명했다. 저자들은 현재 loop가 AgentObjective의 rubric(채점 기준표) 가운데 결과 일치(Result Match) 항목에 주로 기대므로 구조와 의미의 충실도를 놓칠 수 있다고 밝혔다. 저자들은 MoSES 사례의 개선이 추론 시간을 약 3.7초에서 103초로 늘린 의도된 계산 trade-off라고 밝혔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.