RoboJEPA: Scaling Robotic Latent World Models

로봇용 '세계 모델'(환경이 어떻게 변할지 예측하는 모델)이 모델 크기·데이터·컴퓨팅을 늘릴수록 얼마나 좋아지는지 수학 법칙 형태로 처음 밝혀낸 연구다.

이 논문은 한마디로 '로봇 세계 모델도 충분히 예측 가능하게 스케일링된다'는 것을 증명한 연구다. JEPA(영상을 압축된 잠재 공간에서 예측하는 구조) 기반 세계 모델을 2200만 개 파라미터부터 80억 개까지 7단계로 키우며 실험했다. 그 결과 예측 오차가 컴퓨팅 양에 따라 멱함수(수학적 법칙)를 따르고, 이 오차가 실제 로봇 작업 성공률과 강한 상관관계가 있음을 보였다. 덕분에 비싼 실물 로봇 실험을 하기 전에 오프라인 예측 오차만으로 모델 품질을 예측할 수 있게 됐다.

핵심 요약

• 12종 로봇 플랫폼의 데이터(약 287만 궤적)로 세계 모델을 2200만~80억 파라미터까지 키워가며 스케일링 실험을 했다.
• 예측 오차가 컴퓨팅 양을 늘릴수록 멱함수 법칙을 따라 줄어들고, 이 법칙이 실험하지 않은 더 큰 규모까지도 잘 맞았다.
• 오프라인 예측 오차가 실제 로봇 계획 성공률과 강하게 연관되어, 실물 실험 없이 모델 품질을 가늠할 수 있게 했다.
• 목표 사진 한 장만 주면 추가 학습 없이(zero-shot) 실제 로봇 팔이 잡기·옮기기 같은 장기 과제를 스스로 계획해 수행했다.
• 80억 파라미터 모델은 지금까지 만들어진 JEPA 예측기 중 가장 크며, 전체 체크포인트와 코드를 공개했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.