QF3: Fast Flow RL with Filtered Q-Gradients

이 논문은 로봇 정책을 강화학습으로 빠르게 훈련하는 문제를, 흐름 정책에 비평가의 그래디언트를 걸러서 넣는 방식으로 풀었다.

이 논문은 한마디로 흐름 정책(로봇 행동을 생성하는 인기 방식)을 강화학습으로 안정적으로, 그리고 10배 빠르게 훈련하는 알고리즘이다. 비평가(행동의 좋고 나쁨을 평가하는 네트워크)의 개선 방향을 한 번의 예측으로 흐름 모델에 전달하되, 지나치게 큰 수정은 걸러내서 배움을 안정시켰다. 그 결과 휴머노이드 로봇의 걷기와 춤 동작 추적 정책을 시뮬레이션에서 처음부터 배워 실제 하드웨어에 그대로 옮기는 데 성공했고, 기존 방식보다 10배 빠른 벽시계 속도를 보였다. 데모로 미리 학습된 로봇 팔 정책을 다듬을 때도 성공률을 91%에서 95%로 올렸다.

핵심 요약

• 비평가의 그래디언트를 흐름 정책의 한 번 예측(원샷 예측)을 통해 흘려보내, 비싼 샘플러 미분 없이도 정책을 직접 개선했다.
• 그래디언트가 리플레이 행동에서 너무 멀어지는 차원은 잘라내는 '필터'로 학습을 안정시켰다.
• 29자유도 휴머노이드(Unitree G1)의 보행·3분짜리 춤 동작 추적 정책을 시뮬레이션에서 처음부터 배워 실기계에 무보정으로 옮겼고, 이는 오프-정책 흐름 강화학습으로는 최초다.
• 최근 온-정책 방식(FPO++) 대비 벽시계 훈련 시간이 10배 빠르고, 고전적 TD3 수준과 비슷했다.
• 사전학습된 로봇 팔 정책을 다듬어 병 모으기(bottles) 과제에서 에피소드를 22% 빠르게 끝내고 성공률도 91%에서 95%로 올렸다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.