RoboPhD: Evolving Diverse Complex Agents Under Tight Evaluation Budgets

이 논문은 평가 예산이 빠듯할 때 LLM으로 agent를 진화시키는 방식 가운데 무엇이 나은지의 문제를, validation 분할 없이 학습 예제에서 Elo(체스에서 쓰던 상대 실력 점수) 경쟁으로 agent를 고르는 RoboPhD로 풀고 GEPA(Pareto 효율 기반 prompt 최적화 도구), Autoresearch와 같은 조건에서 비교했다.

이 논문은 한마디로 평가 1,500번이라는 같은 예산에서 Elo 토너먼트, Pareto 선택(GEPA), greedy hill-climbing(Autoresearch)의 세 agent 진화 방식을 맞대어 비교하고, 그 가운데 Elo 방식인 RoboPhD를 제안한 논문이다. RoboPhD는 validation 분할 없이 매 iteration 학습 예제 20개에서 agent 3개를 겨루게 하고, evolution AI(새 agent를 설계하는 AI)인 Claude Code가 Elo 순위, 비교 오류 보고서, agent가 스스로 남긴 진단을 보고 새 agent를 만든다. ARC-AGI, Can't Be Late, Text2SQL, DocFinQA 가운데 세 과제에서 RoboPhD가 두 방식보다 높았고, ARC-AGI에서는 22줄 seed agent를 1,013줄 agent로 키워 정확도를 27.8%에서 65.8%로 올렸다. 가장 단순한 Can't Be Late에서는 Autoresearch가 앞섰다.

핵심 요약

• 문제: GEPA와 Autoresearch처럼 LLM이 평가 피드백을 보고 prompt, 코드, agent 구조를 반복해 고치는 시스템이 늘었지만, 저자들은 같은 과제, 같은 예산, 같은 평가 기반에서 이들을 체계적으로 비교한 연구가 아직 없다고 밝혔다. 평가는 비쌀 수 있고(ARC-AGI는 문제당 0.25달러 상한에서도 1,500번 평가에 최대 375달러) 쓸 수 있는 예제가 적을 수도 있어 평가 예산의 배분이 찾을 수 있는 agent를 좌우하는데, 기존 방법은 예산을 학습과 validation으로 나누고, 저자들에 따르면 validation 평가는 후보 선택에 쓰일 뿐 다음 후보를 고치는 데 보탬이 되지 못한다.
• 입력과 출력: 구현과 실험을 갖춘 방법 논문이다. RoboPhD는 목표 설명, 과제 배경, seed agent(코드와 prompt), 학습 예제 pool, 점수와 진단을 돌려주는 evaluator(평가 함수), 평가 예산을 받아 처음 보는 test 예제에서 기대 점수가 가장 높은 agent를 찾는다. 출력은 진화한 agent 프로그램이고, 예컨대 ARC-AGI에서는 22줄 seed agent가 1,013줄의 여러 전략을 묶은 시스템으로 바뀌었다.
• 방법: 매 iteration마다 agent 3개를 새로 무작위로 뽑은 학습 예제 20개에서 겨루게 하고, 쌍별 비교로 Elo 점수(K = 32)를 갱신해 validation 분할 없이 모든 평가를 학습 경쟁에 쓴다. evolution AI(새 agent를 설계하는 AI, 여기서는 Opus 4.6을 쓰는 Claude Code)는 Elo 순위, agent 사이에 결과가 갈린 문제를 짚은 비교 오류 보고서, agent가 print()로 남긴 문제별 진단을 받아 새 agent를 만들고, 같은 session 안에서 이전 iteration 데이터로 시험해 다듬는다(Deep Focus). 경쟁자와 예측이 똑같은 복제 agent에 Elo 200점 감점을 주는 등 다양성 장치 6가지를 두며, 예산 1,500번이면 약 21번의 iteration을 실행한다.
• 구현: 평가 예산 1,500번으로 ARC-AGI(과제를 푸는 solver는 Gemini 3.1 Flash Lite, 학습과 test 각 400문제), Can't Be Late(LLM 없이 클라우드 spot instance 사용을 정하는 Python 전략 class), Text2SQL BIRD(solver는 Claude Haiku 4.5, 데이터베이스 분석 script와 agent 두 파일을 함께 진화), DocFinQA(solver는 GPT-4.1-mini와 text-embedding-3-small, 문서는 미국 증권거래위원회에 낸 평균 123K 단어의 10-K 연간 보고서) 네 과제를 실험했다. 비교 대상은 같은 진단 정보를 받는 GEPA v0.1.1(Opus 4.6을 Claude API로 사용), 범용 artifact 최적화로 일반화한 Autoresearch(Opus 4.6을 Claude Code로 사용), 매 iteration 현재 champion과 새 challenger 두 agent를 겨루는 King-of-the-Hill 변형이다. 공식 저장소 andborth/RoboPhD는 README 기준으로 optimize_anything() API, 논문의 네 과제를 포함한 도메인별 예제, GEPA와 Autoresearch를 고를 수 있는 engine 옵션을 공개하며, 진화 단계에는 Claude Code CLI(command-line interface)가 필요하다.
• 결과: 네 과제의 test set에서 RoboPhD 기본 설정은 세 과제에서 GEPA와 Autoresearch보다 높았다(ARC-AGI 65.8% 대 58.5%와 54.2%, Text2SQL 64.5% 대 60.4%와 60.7%, DocFinQA 50.4% 대 40.0%와 48.2%). Can't Be Late에서는 Autoresearch가 -87.6으로 가장 좋았고 RoboPhD는 -90.7이었으며, King-of-the-Hill 변형은 ARC-AGI에서 67.0%로 기본 설정보다 높았다. Deep Focus를 끄면 네 과제 모두 점수가 내려갔고(DocFinQA 50.4%에서 41.2%), validation 크기를 200에서 100으로 줄이자 GEPA와 Autoresearch의 여덟 비교 모두에서 test 점수가 올랐다.
• 한계: 가장 단순한 Can't Be Late(LLM 호출 없이 90줄 미만으로 풀리는 과제)에서는 Autoresearch가 앞섰고, 기본 RoboPhD와 King-of-the-Hill 변형의 차이도 매우 작아 저자들은 더 연구가 필요하다고 밝혔다. 저자들의 시뮬레이션에서 정확도가 1%포인트씩 다른 세 agent를 문제 20개로 비교하면 가장 나은 agent가 1위로 뽑히는 비율은 45.0%로 무작위 33.3%보다 조금 높아 선택은 Elo가 여러 iteration에 걸쳐 쌓는 약한 신호에 기대며, LLM 응답의 비결정성 때문에 실행마다 결과가 달라질 수 있다. 개발 중 Autoresearch 구현은 simulator 내부 상태에서 미래 spot 가용성을 읽는 편법으로 -85.4를 얻었고, 저자들은 과제 API를 다시 설계하고 evaluator와 agent 사이의 sandbox를 강조했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.