ARIS: Autonomous Research via Adversarial Multi-Agent Collaboration

이 논문은 장시간 실행되는 연구 agent가 근거가 부족한 주장을 그럴듯한 성공처럼 내놓을 수 있는 문제를, 기본 구성에서 실행 모델과 다른 계열의 reviewer 모델이 산출물을 검토하고 실험 결과와 원고 주장을 단계별로 감사하는 연구 harness ARIS(Autonomous Research via Adversarial Multi-Agent Collaboration)로 다뤘다.

이 논문은 한마디로 기본 구성에서 실행(executor) 모델과 다른 모델 계열의 reviewer가 연구 산출물을 반복 검토하는 오픈소스 연구 harness(모델에게 무엇을 저장하고 꺼내 보여 줄지 정하는 주변 시스템) ARIS의 구조와 초기 배포 경험을 정리한 기술 보고서다. Markdown으로 정의한 65개가 넘는 skill을 아이디어 발굴, 실험 연결, 자동 리뷰 loop, 논문 작성, rebuttal의 다섯 workflow로 엮고, 프로젝트마다 research wiki에 논문, 아이디어, 실험, 주장을 남긴다. 실험 코드 무결성 감사, 결과와 주장의 대응표, 맥락 없는 새 reviewer의 원고 숫자 대조로 이어지는 세 단계 감사로 실험 주장이 근거를 갖는지 점검한다. 저자들이 기록한 하룻밤 실행 한 건에서 내부 reviewer 점수는 네 번의 검토와 수정으로 5.0에서 7.5/10이 되었고, 저자들은 이를 한 논문의 한 trajectory에 대한 관찰 기록이라고 밝혔다.

핵심 요약

• 문제: 저자들은 장시간 연구 workflow의 가장 큰 실패 유형을 그럴듯하지만 근거 없는 성공으로 보는데, 결과가 잘못 보고되거나 주장이 근거보다 앞서 나갈 수 있는 경우다. AI Scientist, AI Scientist v2, Agent Laboratory 같은 기존 시스템 다수는 실행과 검토에 같거나 가까운 모델 계열을 써 상관된 오류를 놓칠 수 있고, workflow가 처음부터 끝까지 묶여 단계 교체나 중간 재개가 어렵고, 실험 무결성과 원고 품질을 시스템 차원에서 점검하는 장치를 갖춘 시스템은 드물다.
• 입력과 출력: 전체 pipeline은 연구 방향을 받아 순위를 매긴 아이디어 보고서(IDEA_REPORT.md), 실험 기록(EXPERIMENT_LOG.md), narrative report를 거쳐 컴파일한 논문 PDF를 내고, rebuttal workflow는 논문과 심사평을 받아 바로 붙여 넣을 수 있는 rebuttal을 낸다. skill끼리는 이런 plain-text 파일로 결과를 주고받아 저장된 산출물에서 작업을 다시 시작할 수 있다. 논문 종류는 구현된 오픈소스 시스템의 구조와 초기 배포 경험을 적은 기술 보고서이고, 통제된 비교 평가는 후속 과제로 남겼다.
• 방법: executor가 코드, 원고 절, 실험 설계 같은 산출물을 만들면 권장 구성에서 다른 모델 계열인 reviewer가 rubric 점수와 action item을 돌려주고, 점수가 threshold(기본 6/10)를 넘고 중요한 지적이 모두 해결되거나 최대 round(기본 4)에 이르면 loop가 끝난다. reviewer는 executor의 요약 대신 파일 경로를 받아 산출물을 직접 읽고, 읽는 범위(문서만, 결과 파일 포함, 저장소 전체)와 맥락 방식(매 round 새 thread, round 사이 기억 유지)을 따로 설정한다. 감사는 다른 계열 reviewer가 평가 코드와 결과를 살피는 무결성 감사(모델 출력으로 만든 정답, 자기 정규화 점수, 실제 결과 파일과 다른 숫자 등), 결과를 supported, partial, invalidated로 판정한 claim ledger, 맥락 없는 새 reviewer가 원고의 숫자를 원 결과 파일과 대조하는 세 단계로 이어진다.
• 구현: v0.4(2026년 4월) 기준으로 65개가 넘는 Markdown SKILL.md skill, workflow 5개, MCP(Model Context Protocol) bridge 6개(Codex, Oracle, Claude, Gemini, MiniMax, llm-chat)를 갖췄고, 시험한 executor는 Claude Code, Codex CLI(command-line interface), Cursor의 3개이며, research wiki는 논문, 아이디어, 실험, 주장 네 종류와 관계 8가지로 가벼운 knowledge graph를 만든다. 기본 구성은 Claude 계열 executor와 GPT 계열 reviewer 또는 그 반대이고 현재 구현은 Codex MCP를 거쳐 GPT-5.4에 리뷰를 보내며, effort preset(lite, balanced, max, beast), JSON을 SVG(Scalable Vector Graphics) 그림으로 바꾸는 FigureSpec renderer, Rust로 만든 단독 CLI ARIS-Code, 사용 기록에서 SKILL.md 수정안을 내고 reviewer가 7/10 이상 준 안만 사용자에게 보여 주는 prototype 단계의 meta-optimize loop가 들어 있다. 공식 GitHub 저장소 wanshuiyin/Auto-claude-code-research-in-sleep에는 README 기준으로 skills, mcp-servers, tools, templates 폴더와 설치 script, Claude Code와 Codex CLI plugin이 있고, README는 논문 뒤에 Workflow 5에서 7과 새 reviewer bridge가 더해진 상태를 적었다.
• 결과: 저자들은 통제 비교 대신 하룻밤 실행 한 건을 기록했고, 약 8시간 동안 검토와 수정 4 round, 20개가 넘는 GPU 실험, 근거 없는 주장 삭제가 이뤄지며 내부 reviewer 점수가 5.0에서 7.5/10으로 올랐다고 보고했다. 배포 현황으로는 skill이 처음 공개 때 21개에서 65개 넘게 늘었고, GPU backend 4종(local, SSH(Secure Shell) 원격 서버, Vast.ai, Modal), 학회 template 9계열, community 기여 skill 30개 이상을 적었다. 저자들은 보고한 결과가 관찰 기록이라 ARIS 하나의 효과로 인과 해석할 수 없고, 이 한 trajectory를 다른 계열 reviewer가 같은 계열보다 낫다는 증거로 읽지 말라고 적었다.
• 한계: 저자들은 ARIS가 출력의 정확성, 참신성, 과학적 타당성을 보장하지 못하고, 세 단계 감사는 흔한 무결성 실패를 잡을 수 있어도 모든 오류, 불일치, 조작을 찾는 형식 검증 시스템과 구별되는 권고용 안전망이라고 밝혔다. review loop는 reviewer 모델의 선호에 과적합해 편향을 키울 수 있고, 효과가 줄어드는 지점을 지난 지나친 반복은 논문 품질을 떨어뜨릴 수 있다. 저장소 단위 검토는 소스 코드를 외부 LLM API로 보낼 수 있어, 민감한 코드나 secret이 든 저장소에서는 승인된 로컬 전용 검토 경로가 있을 때만 켜라고 권했고, 로컬 전용 reviewer 경로는 계획 단계에 있다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.