PhiZero: A World Model Built Around Physical Language

자연어가 아닌 '물리 언어'라는 압축 표현을 학습해서 물리적 세계를 시뮬레이션하는 월드 모델.

이 논문은 한마디로 비디오에서 '물리 언어'라는 압축된 기호 표현을 자발적으로 학습하고, 이를 통해 세계가 어떻게 변하는지 추론한 뒤 영상으로 렌더링하는 월드 모델이라는 이야기다. 기존 월드 모델이 픽셀 공간에서 직접 영상을 예측해서 물리적 일관성이 떨어지는 문제가 있었다. PhiZero는 추론-후-렌더링 방식으로 물리적 변화를 명시적으로 예측한다. 영상 생성 및 이해 벤치마크에서 물리적 일관성이 크게 향상되었고, 로봇 모션 전이까지 보여준다.

핵심 요약

• 자연영상에서 '물리 언어'라는 이산 압축 표현을 자기지도학습으로 발견했다. 픽셀이 아닌 상태 변화 패턴을 기호화한다.
• 추론-후-렌더링 구조로 물리적 진화를 명시적으로 예측한 뒤 확산 모델로 영상을 합성한다.
• 비디오 생성 및 물리 이해 벤치마크에서 기존 월드 모델 대비 물리적 일관성이 크게 향상되었다.
• 인간 모션을 휴머노이드 로봇이나 로봇 손으로 전이하는 제로샷 동작 전이 기능을 보여주었다.
• 물리 법칙이나 시뮬레이터 없이 순수하게 비디오 데이터만으로 물리적 상식을 학습했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.