RLiD: Reinforcement Learning in the Decision Plane for Language Agents and LLMs

이 논문은 강화학습의 신용을 글자가 아니라 실행 가능한 행동 자체에 주는 결정 평면 접근으로, 같은 성과를 더 적은 GPU 비용으로 얻게 한 문제를 풀었다.

이 논문은 한마디로 강화학습에서 토큰 단위 대신 실행 가능한 행동 메뉴 위에서 직접 확률을 최적화하는 RLiD 프레임워크를 제안한다. 관찰과 간단한 기억, 라벨이 붙은 행동 메뉴를 한 번의 순전파로 읽어 행동을 고르는 큰 결정 모델을 쓴다. ALFWorld에서 전체 파이프라인이 12.7 H100 GPU 시간으로 성공률 99.3%에 도달했고 같은 LLM의 토큰 수준 RL은 17.3 GPU 시간에 86.6%였다. 결정 평면에서 훈련된 정책을 생성형 LLM으로 증류해 행동 목록 없이도 성공률을 유지한다.

핵심 요약

• 저자들은 토큰 수준 RL의 신용이 행동 표현 방식에 흔들리는 문제를 없애기 위해, 실행 가능한 행동 메뉴 위에서 한 번의 순전파로 행동을 고르는 큰 결정 모델을 강화학습하는 RLiD를 제안했다.
• 정리 1에서 같은 행동으로 이어지는 여러 문장 표현을 한데 묶으면 기댓값을 바꾸지 않고 표현에서 오는 분산을 없앤다는 것을 보였다.
• FrozenLake 정밀 감사에서 정확한 어드밴티지를 쓴 결정 평면 배치 그래디언트는 참 그래디언트와 코사인 0.88을 보였고, 토큰 정책 점수의 두번째 모멘트 가운데 71%에서 97%는 표현 분산이었다.
• ARC에서 Qwen2.5-1.5B 결정 모델은 0.12 GPU-h 만에 78.6%에 도달해 1.17 GPU-h 를 쓴 토큰 GRPO의 75.9%를 앞섰고, 같은 러너의 Sokoban에서는 44.5%로 모든 토큰 변형을 넘었다.
• ALFWorld에서 증류와 학생 RL을 합친 전체 경로는 12.7 H100 GPU-h 만에 성공률 99.3%에 도달했고, 같은 LLM의 토큰 수준 RL은 17.3 GPU-h 를 써도 86.6%였다.
• 메뉴가 없는 배포 조건에서도 생성형 증류 학생은 99.3%의 보지 못한 게임 성공률을 유지했고 메모리 없이는 90.5%를 기록했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.