DOVA: Deliberation-First Multi-Agent Orchestration for Autonomous Research Automation

이 논문은 단일 agent가 복잡한 연구 질의에서 보이는 한계를, tool을 부르기 전에 필요를 먼저 따지는 orchestration, 세 단계 협업 추론, 6단계 thinking 예산을 갖춘 multi-agent 플랫폼 DOVA(Deep Orchestrated Versatile Agent)로 풀려고 했다.

이 논문은 한마디로 연구 질의에 답하는 multi-agent 플랫폼 DOVA의 구조와 알고리즘을 설명한 시스템 논문이다. orchestrator가 tool 호출 전에 필요를 먼저 판단하고, ensemble, blackboard, iterative refinement를 잇는 협업 추론과 6단계 thinking 예산으로 비용과 추론 깊이를 조절한다. 저자들은 일곱 가지 구성의 ablation 값을 구조 분석에 근거한 기대 성능으로 제시했고, 그 표에서 협업 추론이 가장 영향이 큰 요소였다. 표준 benchmark 평가는 앞으로 할 일로 남겼다.

핵심 요약

• 문제: 학술 데이터베이스 검색, 코드 저장소 분석, 모델 registry 교차 확인, 인용이 달린 종합까지 필요한 연구 질의에서 단일 agent에는 네 가지 한계가 있다고 저자들은 본다. 정보를 순서대로만 처리해 분야를 넘는 연결을 놓치고, 반론 없이 첫 결과를 받아들이고, keyword pattern만 보고 tool을 부르고, 쉬운 질의와 어려운 질의에 같은 추론 깊이를 써서 token을 낭비하거나 모자라게 한다.
• 입력과 출력: 이 논문은 연구 질의에 답하는 multi-agent 플랫폼 DOVA(Deep Orchestrated Versatile Agent)의 구조와 알고리즘을 제안한 시스템 논문이다. 입력은 사용자 질의, 계속 유지되는 사용자 모델, 대화 context이고, 출력은 ArXiv, GitHub, HuggingFace, Web을 근거로 출처를 밝힌 답과 신뢰도 점수다. 같은 orchestration backend를 REST(Representational State Transfer) API, CLI(명령줄 인터페이스), 브라우저 UI(사용자 인터페이스), MCP(Model Context Protocol) server 네 가지 interface로 내보내고, MCP server는 Claude Code에 tool 5개를 제공한다고 저자들은 밝혔다.
• 방법: orchestrator는 tool을 부르기 전에 사용자 전문성, 언급된 개체, 최근 대화 6턴, 쓸 수 있는 tool을 보고 외부 정보가 필요한지 먼저 판단하며, latest나 recent 같은 시간 표현이나 2025년 이후 연도가 있으면 반드시 tool을 쓴다. 협업 추론은 여러 agent가 따로 푸는 ensemble, 근거와 투표를 모으는 blackboard, 여러 차례 비평으로 다듬는 iterative refinement를 차례로 잇는다. thinking 예산은 OFF부터 XHIGH(65,536 token)까지 6단계로 두고, 과제 종류, 복잡도 힌트, 질의 길이로 단계를 고른다.
• 구현: agent pool은 MCP 검색을 맡는 ResearchAgent, 사용자 모델을 관리하는 ProfilingAgent, 코드 분석과 sandbox 실행을 맡는 ValidationAgent, 출처를 밝혀 글을 쓰는 SynthesisAgent, 찬성과 반대 agent가 기본 2라운드로 논쟁하는 DebateAgent 다섯이다. 실험에는 작업 등급별로 Claude Haiku 4.5(Basic), Sonnet 4.6(Standard), Opus 4.6(Advanced)를 썼다. 공식 저장소 alfredcs/dova에는 src, tests, frontend, infra, dova-claude-plugin 폴더와 Docker 설정 파일이 있고, README는 이 시스템을 AWS Strands Agents SDK(소프트웨어 개발 키트)와 Amazon Bedrock AgentCore 위에 만들었다고 설명하며 원문의 네 출처에 더해 PubMed, ClinicalTrials.gov, PubChem 같은 생의학 출처도 적었다.
• 결과: 저자들은 일곱 가지 구성을 비교한 ablation 표(Table 5)의 값을 구조 분석에 근거한 기대 상대 성능이라고 밝혔다. 이 표에서 전체 DOVA는 신뢰도 0.82, 출처 범위 0.90이고, 협업을 빼면 0.68과 0.65, 단일 LLM baseline은 0.52와 0.00으로 제시되었다. token 효율은 thinking 예산으로 따져 분류 작업이 고정 MEDIUM 대비 16K에서 1K로 94%, 요약이 75% 줄고, 단순 질의가 40에서 60%인 작업량에서는 전체 절감이 40에서 60%라고 밝혔다.
• 한계: 저자들은 ablation이 구조 분석에 근거했고, HotpotQA, MMLU 같은 표준 benchmark 평가는 앞으로 할 일이라고 밝혔다. 신뢰도 점수는 답을 만든 같은 LLM이 매기고, 모든 agent가 같은 LLM backbone을 쓴다. 메모리 안의 MMR(Maximal Marginal Relevance) 검색 비용은 저장 항목 수와 결과 수에 비례해 늘어나므로 아주 큰 저장소에는 indexing이 필요하다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.