LpWM: A Case for Sparse Representations in World Models

이 논문은 세계모델의 잠재표현을 촘촘한 값 대신 성긴(희소) 코드로 배우면, 예측기가 더 단순해도 계획이 잘 된다는 것을 보였다.

이 논문은 한마디로 세계모델의 표현 방식을 바꾼 연구다. 저자들은 잠재 상태를 희소 코드(대부분 좌표가 0인 표현)로 만들면 복잡한 비선형 역학도 훨씬 단순한 예측기로 근사된다고 보였다. RDMReg이라는 규제로 표현 분포를 Rectified Generalized Gaussian에 맞춰 정확히 0이 되는 좌표를 만들었다. 로봇 제어 과제(PushT)에서 희소 표현은 중간 복잡도 예측기에서 조밀 표현 대비 최대 57%p 높은 계획 성공률을 냈다.

핵심 요약

• 충분히 고차원인 원핫 잠재공간에서는 비선형 역학이 선형으로 근사됨을 이론적으로 보였다.
• RDMReg 규제로 대부분의 좌표가 0이 되는 희소 잠재코드를 학습하는 LpWorldModel을 제안했다.
• PushT 과제에서 희소 표현이 조밀 표현(LeWM)보다 최대 57%p 높은 계획 성공률을 냈다.
• 0이 아닌 좌표의 '위치'는 이산적인 역학 모드를, '크기'는 모드 내 연속 상태를 담는 구조가 저절로 생겼다.
• 다만 희소 표현의 이점은 예측기 용량에 따라 달라져서, 쉬운 Wall 환경이나 표현력이 충분히 큰 예측기에서는 조밀 표현과 차이가 거의 사라졌다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.