Heteroscedastic Gaussian Process Q-learning for Sample Efficient Experimentation
- 발행일
- 출처
- arXiv
- 논문 번호
- 1492
- 분야
- Machine Learning
- arXiv 번호
- 2611.21249
이 논문은 각 벨만 목표의 잡음 분산을 이질 가우시안 프로세스로 추정해 학습률을 Kalman 이득으로 대체하는 HGPQ를 제안하고 표본 효율 실험 입증을 했다.
이 논문은 한마디로 수십에서 수백 번의 값비싼 실험으로 프로세스를 배워야 하는 상황을 위한 강화학습 방법이다. 저자들은 가우시안 프로세스로 Q 함수를 직접 학습하고, 각 벨만 목표를 잡은 측정으로 보아 학습률을 Kalman 이득으로 정했다. 이질 가우시안 프로세스가 목표별 잡음 분산을 배워서, 믿을 수 없는 목표는 추정을 덜 움직이게 했다. 탐색 영역 전역에 균일한 고확률 오차 계수를 증명했고, 화학 반응기와 생물공정을 포함한 다섯 시뮬레이션 기준에서 더 적은 에피소드로 최고 수준 보수에 도달했다.
핵심 요약
- 저자들은 Q 함수에 가우시안 프로세스 사전을 놓아 역학을 배우지 않고 컨트롤러가 직접 최적화하게 했다.
- 각 벨만 목표를 Q 함수의 잡음 있는 측정으로 취급하면 평균제곱오차를 최소화하는 학습률은 Kalman 이득이고, 관측된 전이 전부에 적용하는 것은 가우시안 프로세스 회귀와 동등하다.
- HGPQ는 각 목표의 잡음 분산을 이질 가우시안 프로세스로 정해서, 잡음이 크거나 값 함수 기울기가 큰 영역의 목표가 추정을 덜 움직이게 했다.
- 저자들은 목표별 분산을 목표 수집 시점에 배정하는 설정에서, 탐색 영역 전역에 균일한 값 추정 오차의 고확률 계수를 증명했다.
- 화학 반응기와 생물공정을 포함한 다섯 시뮬레이션 기준을 합치면, HGPQ는 같거나 더 큰 예산의 가우시안 프로세스, 커널, 심층 강화학습 기준보다 적은 에피소드로 어느 방법이든 찾은 최고 보수에 근접했다.
논문 링크
외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.