From Delegation to Coordination: Learning Efficient Multi-Agent Deep Research

발행일
출처
arXiv
논문 번호
1463
분야
Agents
arXiv 번호
2611.17041

이 논문은 멀티에이전트 딥리서치에서 잘못된 보상 배분 문제를 부 에이전트 보고서 단위의 기여 인식 크레딧 할당으로 풀었다.

이 논문은 한마디로 메인 에이전트와 부 에이전트를 함께 학습하되 보고서 유용성으로 크레딧을 걸러 주는 LEAD-RL 학습 프레임워크다. 위임은 병렬 탐색과 맥락 분리에 유용하지만 잘못된 보고서까지 팀 보상을 물려받으면 해로운 행동이 강화된다. 학습 시점 루브릭이 각 부 에이전트 보고서를 유익, 중립, 유해로 분류해 상속하는 팀 어드밴티지의 방향을 제어한다. 다섯 벤치마크에서 답변 품질과 효율이 함께 개선됐다.

핵심 요약

  • 연구진은 메인 에이전트만 학습하거나 같은 팀 어드밴티지를 모든 에이전트에 방송하는 기존 방식이 오해를 유도하는 부 보고서를 보상하는 문제를 겨냥했다.
  • LEAD-RL은 학습 시점 루브릭으로 각 부 에이전트 보고서의 연구 유용성을 평가해 상속 팀 어드밴티지를 제어한다.
  • 유익한 보고서는 음의 어드밴티지를, 유해한 보고서는 양의 어드밴티지를 물려받지 못하게 걸러진다.
  • 팀 보상은 최종 답변 정확도뿐이며 토큰이나 단계, 가속에 대한 보상은 쓰지 않는다.
  • BrowseComp에서 LEAD-RL은 공유 팀 크레딧 학습 대비 정확도를 2.49 퍼센트포인트 올리고 임계 경로 비용을 24.5% 줄였다.
  • 124B-A5.1B 모델로 BrowseComp 73.5% 정확도에 도달해 파라미터 수가 두 배 이상 큰 DeepSeek V4 Flash를 앞질렀다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.

원문 보기 (새 탭에서 열림)