MRC-MMAgent: Reinforcement Learning for Multi-Role Collaboration in Multimodal Tool-Using Agents

이 논문은 멀티모달 도구 사용 에이전트를 풀이, 검사, 계속의 세 역할로 나누고 역할 결합 보상으로 강화학습하는 문제를 풀었다.

이 논문은 한마디로 멀티모달 도구 에이전트에 검사자와 계속 풀이 역할을 넣어 전체 궤적을 함께 학습하는 강화학습 틀 MRC-MMAgent를 제안한다. 풀이자가 증거를 모아 답을 내면 검사자가 답이 증거로 충분히 뒷받침되는지 판단하고, 부족하면 풀이를 이어가게 한다. 세 역할의 보상을 하나의 궤적 보상으로 묶어 모든 역할 결정에 전체 궤적 GRPO를 적용한다. 추가 데이터 없이 기존 학습 세트만으로 여러 벤치마크에서 최고 수준 성적을 보였다.

핵심 요약

• 풀이, 검사, 계속의 세 역할을 하나의 실행 가능한 에이전트 루프 안에 넣고, 검사자가 답의 증거 지지를 판단해 마무리하거나 풀이를 계속하게 했다.
• 작업 성공, 상호작용 유효성, 검사 후 수정 성공을 하나의 궤적 보상으로 묶고 (λacc, λfmt, λcorr) = (0.7, 0.1, 0.2) 가중치로 합쳤다.
• 전체 궤적 GRPO가 결합 보상을 모든 역할 결정에 전달해 역할별 마스크 최적화가 만드는 사후 역할 귀속 편향을 피했다.
• MMSearch-R1 학습 세트만 써서 기반 모델보다 11.1 포인트 올렸고 8B 모델 평균 68.1로 같은 규모 시스템 가운데 가장 앞섰다.
• 이미지 추론 벤치마크에서도 V* Bench 93.2, HR-Bench 8K 78.5로 가장 좋은 성적을 얻었고 기반 모델보다 V* Bench +6.8, HR-Bench 8K +3.9 올랐다.
• 검사자를 학습하지 않으면 98.3%의 궤적을 계속으로 표시해 불필요한 수정이 늘었고, 학습하면 계속 비율이 60.4%로 줄고 정확도가 62.7에서 64.0으로 올랐다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.