Heteroscedastic Gaussian Process Q-learning for Sample Efficient Experimentation

발행일
출처
arXiv
논문 번호
1492
분야
Machine Learning
arXiv 번호
2611.21249

이 논문은 각 벨만 목표의 잡음 분산을 이질 가우시안 프로세스로 추정해 학습률을 Kalman 이득으로 대체하는 HGPQ를 제안하고 표본 효율 실험 입증을 했다.

이 논문은 한마디로 수십에서 수백 번의 값비싼 실험으로 프로세스를 배워야 하는 상황을 위한 강화학습 방법이다. 저자들은 가우시안 프로세스로 Q 함수를 직접 학습하고, 각 벨만 목표를 잡은 측정으로 보아 학습률을 Kalman 이득으로 정했다. 이질 가우시안 프로세스가 목표별 잡음 분산을 배워서, 믿을 수 없는 목표는 추정을 덜 움직이게 했다. 탐색 영역 전역에 균일한 고확률 오차 계수를 증명했고, 화학 반응기와 생물공정을 포함한 다섯 시뮬레이션 기준에서 더 적은 에피소드로 최고 수준 보수에 도달했다.

핵심 요약

  • 저자들은 Q 함수에 가우시안 프로세스 사전을 놓아 역학을 배우지 않고 컨트롤러가 직접 최적화하게 했다.
  • 각 벨만 목표를 Q 함수의 잡음 있는 측정으로 취급하면 평균제곱오차를 최소화하는 학습률은 Kalman 이득이고, 관측된 전이 전부에 적용하는 것은 가우시안 프로세스 회귀와 동등하다.
  • HGPQ는 각 목표의 잡음 분산을 이질 가우시안 프로세스로 정해서, 잡음이 크거나 값 함수 기울기가 큰 영역의 목표가 추정을 덜 움직이게 했다.
  • 저자들은 목표별 분산을 목표 수집 시점에 배정하는 설정에서, 탐색 영역 전역에 균일한 값 추정 오차의 고확률 계수를 증명했다.
  • 화학 반응기와 생물공정을 포함한 다섯 시뮬레이션 기준을 합치면, HGPQ는 같거나 더 큰 예산의 가우시안 프로세스, 커널, 심층 강화학습 기준보다 적은 에피소드로 어느 방법이든 찾은 최고 보수에 근접했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.

원문 보기 (새 탭에서 열림)