AlayaWorld: Long-Horizon and Playable Video World Generation

AlayaWorld는 자기회귀 DiT 기반 실시간 플레이 가능 비디오 세계 생성 풀스택 오픈소스 프레임워크다.

AlayaWorld는 게임 월드를 노동 집약적 파이프라인 대신 비디오 세계 모델로 생성하는 풀스택 오픈소스 프레임워크다. LTX-2.3 기반의 자기회귀 DiT에 프롬프트 스위칭, AdaLN 카메라 제어, 3D 캐시, 히스토리 압축, 에러 뱅크, few-step 증류를 통합하여 720p 24fps 실시간 생성을 구현했다. 전투, 마법, 소환 등 개방형 액션과 장기 일관성, 다양한 스타일 렌더링을 지원한다.

핵심 요약

• LTX-2.3 파인튜닝 기반 720p 24fps 실시간 생성, 청크당 4단계 디노이징(~1초 비디오)
• 프롬프트 스위칭: 청크 경계에서 텍스트 조건 업데이트로 개방형 액션 지원
• 3D 캐시 + 히스토리 압축으로 공간적 일관성 유지, leave-and-return 일관성 입증
• 에러 뱅크: 롤아웃 중 누적된 잔차 아티팩트를 구조적 섭동으로 재사용하여 장기 생성 안정화
• few-step DMD 증류로 시각 지연 최소화, 짧은 청크로 의미론 지연 최소화
• 데이터 준비→학습→추론 가속→배포까지 전 스택 모듈화, 오픈소스 공개 예정

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.