Semigroup-JEPA: Latent Dynamics Consistency for Zero-Shot Physics Generalization

중력 조건과 여러 단계의 미래 예측을 함께 학습해 낯선 중력에서도 물체 움직임과 로봇 제어에 유용한 표현을 만드는 연구다.

이 연구는 영상에서 세계를 압축해 표현하는 모델이 학습 때와 다른 중력에서도 움직임을 예측할 수 있는지 살펴본다. SG-JEPA는 중력 값을 입력으로 주고, 여러 단계의 미래를 연속해서 예측하는 동안 영상 인코더와 예측기를 함께 학습한다. 연구진은 중력을 바꾼 시뮬레이션에서 기존 모델보다 장기 예측과 로봇 조작 성능이 좋아졌다고 보고한다. 추가 분석에서는 예측기 자체보다 움직임에 필요한 정보를 보존하도록 개선된 영상 표현이 성능 향상의 주요 원인으로 나타났다. 다만 실험에서 바꾼 물리 변수는 중력 하나이며, 새로운 물체 모양이나 복잡한 회전으로의 일반화에는 한계가 있다.

핵심 요약

• SG-JEPA는 중력 조건을 받아 여러 단계의 잠재 상태를 재귀적으로 예측하며 인코더와 예측기를 공동 학습한다.
• 학습에서는 좁은 중력 범위를 사용하고 평가에서는 더 넓은 중력 범위를 사용하는 여덟 가지 MuJoCo 데이터셋으로 일반화를 시험한다.
• 논문은 DINO-WM 대비 2차원 예측 오차가 최대 절반 수준으로 줄고 3차원 로봇 제어 성공률이 최대 2.5배로 높아졌다고 보고한다.
• 고정한 인코더에 새 예측기를 학습하는 분석은 동역학에 필요한 표현의 개선이 핵심임을 보여 주며, 이 표현을 별도 확산 정책의 제어 입력으로 활용한다.
• 중력 이외의 여러 물리 변수를 함께 바꾸는 상황은 검증하지 않았고, 물체 형태와 회전이 달라질 때의 전이는 불균일하다는 한계가 있다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.