Discovering Cooperative Pipelines: Autoresearch for Sequential Social Dilemmas

이 논문은 사람이 손으로 짜던 LLM 정책 합성 pipeline 설계를 coding agent가 코드를 직접 고쳐 찾게 하는 두 단계 autoresearch로 풀었다.

이 논문은 한마디로 coding agent가 다른 LLM의 정책 합성 pipeline 코드를 직접 고쳐 다중 agent 협력 점수를 높이는 두 단계 autoresearch 실험이다. Claude Opus 4.6 researcher가 system prompt, feedback, helper, 반복 설정을 고치고 held-out seed 점수가 오를 때만 변경을 남긴다. Cleanup과 Gathering 두 게임의 12번 run 모두 사람이 짠 baseline보다 점수가 올랐고, prompt만 고치는 GEPA보다도 높았다. 목표를 maximin으로 바꾸면 researcher가 역할 순환 같은 공정성 장치를 스스로 넣었다.

핵심 요약

• 문제: LLM이 Python 정책 코드를 쓰고 self-play로 평가해 고치는 정책 합성 방식은 SSD(개인에게 합리적인 행동이 집단에는 나쁜 결과를 내는 다중 agent 게임)에서 효과를 보였지만, 그 pipeline의 system prompt, feedback, helper 함수, 반복 횟수는 사람이 손으로 정했다. 저자는 이 pipeline 설계 자체를 AI agent에게 맡길 수 있는지를 물었다.
• 입력과 출력: 이 논문은 두 단계 autoresearch framework를 제안하고 실험한 방법 논문이다. 바깥 loop의 researcher agent(Claude Opus 4.6, coding agent로 실행)는 안쪽 pipeline 소스 코드, 실험 기록, 읽기 전용 환경 코드를 읽고 system prompt, feedback 함수, helper library, iteration logic을 고친 새 설정을 낸다. 안쪽 loop의 정책 합성 LLM은 그 설정으로 모든 agent가 함께 실행하는 Python 정책 하나를 내고, 그 정책을 held-out seed에서 평가한 welfare 점수가 바깥 loop로 돌아간다.
• 방법: 매 바깥 반복에서 researcher는 현재 최고 설정을 고쳐 안쪽 loop(정책 합성, AST 안전 검사와 smoke test, self-play 평가, feedback 생성)를 돌리고, 점수가 지금까지의 최고보다 높을 때만 변경을 남기며 낮거나 같으면 git으로 되돌린다. 검증 pipeline, 환경 simulator, 평가 기준은 고정해서 researcher가 고칠 수 있는 범위를 prompt, feedback, helper, iteration logic으로 한정했고, 이는 reward hacking을 막기 위한 설계다. 목표 함수는 전체 효율(utilitarian efficiency U)과 보상이 가장 낮은 agent의 보상(Rawlsian maximin) 두 가지이고, 저자는 researcher가 합성 모델에게 무엇을 보여 줄지 고르는 information design으로 이 구조를 해석했다.
• 구현: 실험은 Cleanup(공공재 게임, agent 10개)과 Gathering(공유 자원 게임, agent 4개) 두 gridworld에서 Gemini 3.1 Pro와 Claude Sonnet 4.6을 정책 합성 모델로 써서 모두 12번의 자율 researcher run으로 했다. 12번 run의 전체 시간은 62.2시간이었고 그중 researcher agent가 25.6시간(41%)을 썼다. 공식 저장소 README 기준으로 안쪽 loop 코드(llm_self_play.py, run_inner_loop.py), researcher가 고치는 pipeline/ 폴더, 바깥 loop script가 든 autoresearch/ 폴더(measure.sh, run_experiment.sh, researcher 지시문 program.md), GEPA baseline 실행 script가 공개돼 있다.
• 결과: Cleanup에서 researcher는 두 모델의 효율 U를 baseline 1.93(Gemini)과 0.86(Sonnet)에서 3.1에서 3.2 수준으로 올렸고, Gathering에서는 baseline 0.03에서 2.42 사이에서 출발한 네 run이 모두 2.47에서 2.52로 모였다. 같은 환경 평가 횟수에서 prompt만 고치는 GEPA보다 Cleanup에서 2배에서 3배, Gathering에서 20% 높았다. Cleanup에서 maximin을 목표로 한 run 4개는 모두 시간 기반 역할 순환 같은 명시적 공정성 장치를 넣었고, 효율을 목표로 한 run 4개에서는 이런 장치가 0개였다.
• 한계: 저자는 모든 실험이 researcher 모델 하나(Claude Opus 4.6)만 썼다는 점을 가장 큰 한계로 꼽았고, 다른 coding agent로 바꾼 비교를 가장 중요한 후속 과제로 들었다. 검증 pipeline, helper library 골격, orchestrator API는 사람이 설계한 장치이며, 이런 harness가 없는 환경으로의 일반화는 아직 평가 전이라고 밝혔다. 환경은 완전 관측, 이산 행동, 1000 step 에피소드의 2D gridworld라서, 찾아낸 장치(BFS-Voronoi 분할, 시간 순환 역할)가 연속 공간이나 부분 관측 환경으로 옮겨 갈지는 열린 문제로 남았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.