Looped World Models

Looped transformer를 world model에 최초로 적용, 파라미터 공유 반복 구조로 최대 100배 파라미터 효율을 달성한 LoopWM을 제안한다.

LoopWM(FaceMind Research Asia)은 world model의 장기 롤아웃 정확도와 연산 비용 사이의 근본적 딜레마를 looped architecture로 해결한다. 단일 파라미터 공유 transformer block을 반복 적용해 잠재 환경 상태를 점진적으로 정제하며, spectral constraint로 안정성을 보장한다. 적응적 계산(depth)이 전환 복잡도에 맞춰 자동 조정되므로, 단순한 자유 낙하 등에는 1회 루프만으로도 충분하다. 기존 world model 대비 최대 100배 파라미터 효율을 보인다.

핵심 요약

• World model에 looped transformer를 최초 적용—반복 잠재 깊이(iterative latent depth)라는 새로운 스케일링 축 제안
• 파라미터 공유 transformer block 반복으로 기존 대비 최대 100× 파라미터 효율 달성
• Spectrally-constrained state-retention 파라미터화로 임의 롤아웃 길이에서 안정성 보장
• 적응적 계산: 충돌/접촉 등 복잡 전환에는 더 많은 루프, 단순 역학에는 적은 루프를 자동 할당
• ScienceWorld 등 과학 시뮬레이션 태스크에서 EM 66-88%, F1 72-98% 달성
• 1B 파라미터로 Gemini/Qwen 대비 우수한 과학 시뮬레이션 예측 성능 입증

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.