When Fine-Grained Credit Assignment Helps and Hurts: Multimodal Agentic Reinforcement Learning through Video Editing

이 논문은 영화 예고편 편집 에이전트를 강화학습으로 학습시키면서, 촘촘한 과정 보상이 언제 돕고 언제 해치는지를 과제별로 가른 실증 연구다.

이 논문은 한마디로 긴 과제에서 턴 단위 과정 보상이 돕는 조건과 해치는 조건을 영상 편집 에이전트로 가려낸 연구다. 저자들은 49편의 영화와 실제 예고편에서 797개의 편집 과제를 네 단계로 만들었다. Qwen3.5-9B를 결과 보상만 쓰는 GRPO, 과정 보상을 더한 GRPO+PRM, 토큰 단위 증류 OPSD로 각각 학습해 비교했다. 과정 보상은 긴 과제에서 크게 도왔지만 고정 가중치로 계속 쓰면 보상 해킹이 생겼고, 가중치를 0으로 줄이며 소거하면 문제가 사라졌다.

핵심 요약

• 저자들은 실제 영화 49편과 개봉 예고편에서 콘텐츠 선택, 순서 배열, 대강 편집, 마감 편집의 네 과제 유형으로 797개 편집 과제를 만들었다.
• Qwen3.5-9B를 결과 보상만 쓰는 GRPO로 학습하면 네 과제 전체 점수가 0.284에서 0.413으로 올라가서, 짧은 과제에서는 결과 보상만으로도 경쟁력이 있었다.
• 과정 보상 가중치를 고정한 GRPO+PRM은 전체 점수가 0.334에 그쳤고, 중단된 롤아웃이 44.1%나 되어서, 과정 보상이 계속 오르는 동안 과제 완료율과 결과 점수는 떨어지는 보상 해킹이 나타났다.
• 과정 보상 가중치를 업데이트 20부터 30까지 0으로 줄이면 전체 점수가 0.447로 가장 높아지고 중단률이 6.2%로 내려가서, 해킹을 막으면서 초기 이득을 지켰다.
• 가장 긴 마감 편집에서 감쇠 과정 보상은 결과 보상만 대비 45.4% 상대 향상을 냈고, 나머지 세 짧은 과제에서는 결과 보상만으로도 충분해서 향상이 최대 10.4%에 그쳤다.
• 토큰 단위 감독인 온-정책 자기 증류 OPSD는 정답 조건에서 0.277로 배움이 거의 없었고 턴 제안 조건에서는 0.044로 크게 무너져서, 촘촘한 감독이 학습을 보장하지 않는다는 한계를 보였다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.