When Does LeJEPA Learn a World Model?

Klindt, LeCun, Balestriero의 연구는 JEPA(Joint-Embedding Predictive Architecture), 구체적으로 LeJEPA가 실제 기저 잠재 변수를 복원함으로써 '세계 모델'을 학습하는 조건을 형식적으로 정의하고 증명한다.

이 논문은 LeJEPA가 어떤 조건에서 관측값으로부터 세계의 잠재 변수를 선형적으로 복원하는지 이론화한다. 정지 상태의 가산 잡음 전이를 따르는 잠재 세계에서 정렬 손실과 가우시안 정규화를 함께 쓰면 비선형 표현보다 선형 대응이 최적이 된다는 보장을 제시한다. 또한 이 보장이 정확히 성립하는 잠재 분포는 가우시안이 유일하며, 조건이 조금 어긋날 때 복원 오차가 점진적으로 커지는 근사 결과도 보였다. 2차원부터 1,024차원까지의 합성 실험과 픽셀 기반 로봇 제어에서 이론을 확인하고, 선형 식별 가능성이 잠재 공간 계획의 품질과 연결됨을 보였다. 다만 실제 잠재 분포의 가우시안성, 참 잠재 차원과 표현 차원의 일치, 유한 표본과 학습 최적화는 이 보장이 직접 다루지 못하는 중요한 한계다.

핵심 요약

• SIGReg와 VICReg는 '화이트닝'(각 차원을 독립적이고 동일한 분산을 갖도록 만드는 것)을 강제하는데, 두 방법 모두 모든 차원에서 매우 높은 식별 가능성을 유지했다.
• InfoNCE는 널리 쓰이는 대조 학습 방법이다. 저차원에서는 효과적이지만, 고차원 공간에서는 하이퍼파라미터 튜닝에 매우 민감해져 정밀한 조정 없이는 구조 복원을 유지하지 못하는 경우가 많았다.
• 데이터 수집의 경우, 로봇이 자신의 환경에 대한 고품질 표현을 학습하기를 원한다면, 사전학습 중에 '꿈꾸는' 데이터는 편향되고 목표 지향적인 행동보다는 등방성 무작위 보행에 가까운 것이 이상적이다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.