SCOPE: Selective Critical-Step On-Policy Self-Distillation for Agentic Reinforcement Learning

이 논문은 LLM 에이전트 강화학습에서 궤적 전체에 걸친 지도 대신, 오류 단계만 골라 증류하는 SCOPE 프레임워크를 제안했다.

이 논문은 한마디로 에이전트 강화학습의 지도 신호를 궤적 단위에서 오류 단위로 좁힌 방법이다. 저자는 성공한 궤적에도 오류가 있고 실패한 궤적에도 옳은 행동이 있다는 결과-단계 불일치를 먼저 보였다. SCOPE는 가벼운 지도 학습으로 오류 찾기와 교정 스킬 생성기를 익힌 뒤, 온라인 학습 중 자기 궤적을 분석해 고른 오류 단계에만 스킬 지식을 증류한다. 유계 부호 계수로 학습 불안정을 막고 상대적 길이 보상으로 효율을 높여 ALFWorld와 WebShop에서 일관된 향상을 얻었다.

핵심 요약

• 연구진은 주석을 단 WebShop 궤적에서 성공 궤적 걸음의 29.8%가 오류이고 실패 궤적 걸음의 42.4%가 올바르다는 결과-단계 불일치를 확인했다.
• 궤적 단위 스킬을 모든 걸음에 넓게 증류하면 스킬과 무관한 걸음에서 그릇된 신호가 생겨, 0이 아닌 격차 토큰의 57.9%가 무관 걸음에서 나왔다.
• SCOPE는 지도 학습 웜업으로 오류 위치 찾기와 단위별 교정 스킬 만들기를 먼저 익히고, 온라인 강화학습 중 자기 궤적을 분석해 고른 오류 단계에만 증류 신호를 넣었다.
• 유계 부호 증류 계수를 넣어 큰 교사-학생 격차가 학습을 무너뜨리는 것을 막았고, 학습 중 격차가 2715.5 nats까지 커져 발생한 급격한 성능 붕괴를 이 설계가 막았다.
• Qwen2.5-3B에서 SCOPE는 ALFWorld 성공률 97.7%, WebShop 성공률 85.2%를 기록해 SEED보다 각각 5.9, 6.3 포인트 앞섰다.
• 본 적 없는 ALFWorld 과제에서 성공률 89.6%로 GRPO보다 23.2 포인트 앞서고 평균 상호작용은 46.7% 줄였으며, Qwen3-32B로 확장해도 성공률 99.2%와 평균 걸음 7.7을 보였다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.