Alaya-EVOKE: From Linear-Scaling Supervision to Endless World

월드 상태를 외부 기하 메모리에 맡겨 2시간 연속 생성을 가능하게 한 인터랙티브 월드모델. 외부화 메모리 설계가 인상적.

이 논문은 한마디로 월드모델의 영구 기억을 모델 컨텍스트 밖의 '월드 상태 뱅크'(카메라 위치로 색인된 기하 메모리)에 맡긴 모델이다. 세션이 길어져도 컨텍스트 비용이 늘지 않고, 다시 본 장면은 저장된 기하에서 복원된다. 교사 모델을 장기(30초) 감독용으로 재설계해 3단계 생성 학생 모델에 증류했다. 단일 GPU(H200)에서 1.5초 분량을 2.11초에 생성하며 2시간 연속 롤아웃을 유지했고, WBench에서 최고 성적을 냈다.

핵심 요약

• 지속 상태를 카메라 자세로 색인되는 외부 기하 뱅크에 저장해, 세션 길이와 무관하게 고정된 컨텍스트 비용을 유지했다.
• 교사 모델에 청크별 희소 어텐션과 선형 어텐션 전역 상태를 결합해 감독 비용이 길이에 선형으로만 늘어나게 했다.
• 30초 장기 분포 정합 목표로 3단계 CFG 없는 학생 모델을 증류해 저지연 인터랙션과 장기 일관성을 함께 얻었다.
• 2시간 연속 생성을 시연했고 WBench에서 최고 성적, VBench-2.0에서 66.77로 비교군 10개 중 1위였다.
• 세션 중 텍스트 지시 교체는 새로 붙일 수 있는 콘텐츠는 67% 반영되지만, 이미 기하로 고정된 내용은 4%만 덮어써졌다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.