Stateless Language Agents: Scaling Long-Horizon Automated Research

이 논문은 긴 자동 연구 run에서 agent가 늘어나는 기록을 되풀이해 읽고, 서로 같은 일을 하거나, token을 쓰면서 실험을 멈추는 문제를, harness가 연구 상태를 들고 호출마다 새 context를 만들어 주는 stateless agent 구조 SLA(Stateless Language Agents)로 풀었다.

이 논문은 한마디로 모든 agent가 호출마다 새 session으로 시작하고, harness가 후보 해법과 측정 결과를 연구 상태로 들고 역할마다 새 context를 다시 만들어 주는 자동 연구 framework SLA를 만들어 최대 1B token 예산에서 시험한 시스템 논문이다. Advisor(실험을 배정하는 역할)는 방향별로 정리된 근거 요약을 보고 병렬 Worker(배정받은 실험을 구현하는 역할)에게 구체적인 실험을 맡긴다. Codex로 돌린 Anthropic kernel 최적화에서 SLA의 평균 cycle 수(낮을수록 빠른 kernel)는 1112.0으로 평균 기준 가장 강한 baseline SwarmResearch의 1275.7보다 낮았고, SLA는 그 baseline의 최종 성능에 67.9M token으로 닿아, 그 baseline이 같은 성능에 닿는 데 쓴 986.3M token보다 93.1% 적게 썼다. Codex로 돌린 FrontierSWE(긴 소프트웨어 공학 과제 benchmark) 네 과제에서는 예산의 25%인 175M token 시점에 과제별 가장 강한 baseline보다 모두 뒤졌다가 700M token 전체 예산에서 모두 앞서, 저자들은 짧은 평가가 방법의 순위를 잘못 매길 수 있다고 밝혔다.

핵심 요약

• 문제: 자동 연구(AutoResearch, 측정 가능한 목표를 놓고 해법 제안, 구현, 평가를 되풀이하는 일) 시스템은 LLM agent를 긴 run으로 돌리는데, agent가 늘어나는 기록을 되풀이해 읽고, 서로 같은 일을 하거나, token을 계속 쓰면서 실험을 멈추는 일이 생긴다. 저자들이 본 CORAL(agent 여러 개가 각자 실험을 고르고 공유 memory로 발견을 나누는 framework) run 하나에서는 GPU kernel 과제의 마지막 개선이 231M token에서 나온 뒤 마지막 1,500개 session의 98%가 tool 호출 없이 끝났다. 대부분의 평가는 짧은 예산이나 일찍 포화되는 benchmark를 써서 이런 실패를 시험 밖에 두었고, 저자들은 원인을 연구 상태가 어디에 있는가와 다음 실험을 누가 정하는가의 두 선택에서 찾았다.
• 입력과 출력: SLA는 과제 하나(고칠 수 있는 파일, 허용 자원, 평가 절차를 정한 task adapter, seed 해법, 보호된 evaluator)와 누적 token 예산을 받는다. 예산이 끝날 때까지 독립 evaluator가 Worker의 후보를 모두 채점하고, harness는 전역 최고 해법, Worker별 후보, 측정 결과, checkpoint를 연구 상태로 남긴다. 논문 종류는 framework를 구현해 소프트웨어 공학, kernel 최적화, 알고리즘 설계 과제에서 최근 framework 세 개와 비교한 시스템 논문이다.
• 방법: 원칙은 stateful search with stateless agents로, 모든 agent가 호출마다 새 session으로 시작하고 harness가 후보 해법과 측정 결과를 연구 상태로 들고 호출마다 역할에 맞는 새 context를 만든다. Advisor는 실험을 배정하는 한 주기(epoch)마다 과제 설명, 현재 전역 최고 코드와 점수, harness가 만든 근거 요약을 받는데, 이 요약은 결과를 탐색 방향별로 묶고 측정된 비개선과 구현, 실행, 정확성 실패를 나눠 적는다. Worker는 시도 한 번(trial)마다 과제 설명, 자기 배정, 자기 후보, 짧은 직전 결과만 받고 다른 방향의 근거는 Advisor의 배정으로만 전해지며, 방향을 바꿔 배정받으면 전역 최고 해법에서 다시 시작한다.
• 구현: Advisor와 Worker는 같은 coding agent를 쓰고, 설정은 OpenAI Codex CLI(명령줄 도구) v0.152.1과 GPT-5.5, Claude Code v2.1.258과 Claude Opus 4.8 두 가지이며, 주 실험에서는 Advisor와 Worker가 같은 LLM을 쓰고 부록 C.1에서 GPT-5.5 Advisor에 GPT-5.4 mini Worker를 붙인 비교를 따로 보고했다. 기본값은 Worker 3개와 Advisor epoch마다 Worker당 trial 세 번이고, Worker는 Linux Landlock(파일 시스템 접근을 제한하는 Linux 기능) 아래 권한이 낮은 process로 돌며, harness는 trial 사이에 저장된 session을 지우고 후보를 Worker 환경 밖에서 보호된 evaluator 코드로 채점한다. 비교 대상은 agent가 긴 session을 이어 가는 CORAL과 SwarmResearch, 세대마다 새 coding agent를 띄우도록 맞춘 EvoX이고, 셋 다 고정한 upstream release의 검색 logic을 그대로 쓰며 모든 방법은 같은 외부 누적 token counter로 멈춘다.
• 결과: Codex로 돌린 Anthropic kernel 최적화(1B token, 방법마다 세 번 실행)에서 SLA는 평균 1112.0 cycle을 내 평균 기준 가장 강한 baseline SwarmResearch의 1275.7 cycle보다 낮았고, SwarmResearch의 최종 성능에 67.9M token으로 닿아, SwarmResearch가 같은 성능에 닿는 데 쓴 986.3M token보다 93.1% 적게 썼다. Codex로 방법마다 한 번씩 돌린 FrontierSWE 네 과제에서는 과제별 가장 강한 baseline보다 평균 4.95점 높았는데, 예산의 25%인 175M token 시점에는 네 과제 모두에서 뒤졌다가 700M token 전체 예산에서 모두 앞섰다. Anthropic kernel과 FrontierSWE libexpat의 같은 checkpoint에서 100M token씩 세 번 이어 돌린 ablation에서는 Advisor context 재구성, Worker context 격리, Advisor 배정 가운데 하나를 빼면 모든 비교에서 평균 진전이 줄었고, token 사용을 분석한 두 run(Anthropic kernel, FrontierSWE libexpat)에서 Advisor가 쓴 token은 전체의 0.24%에서 0.51%였다.
• 한계: 긴 run은 비용이 커서 대부분의 설정은 한 번씩만 돌렸고, 반복 실행한 것은 Codex의 Anthropic kernel 최적화와 checkpoint ablation뿐이다. 비교는 token 수를 맞춘 것이며, 비용 추정에는 실험을 실행하고 평가하는 compute가 빠져 있다. 모든 과제에 실행 가능한 evaluator가 있어서, 목표가 모호하거나 평가가 느린 과제는 시험 범위 밖에 남았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.