ReWorld: An Interactive World Model with Long-Horizon Memory

이 논문은 실시간 인터랙티브 세계모델이 '예전에 본 장소'를 기억하게 만드는 방법으로, 고정된 메모리 예산 안에서 1분 뒤 출발지 풍경을 다시 그려냈다.

이 논문은 한마디로 세계모델의 '기억 문제'를 푼 연구다. 제어는 짧은 어텐션 창에서, 기억은 긴 창에서 따로 훈련하고, 추론 시엔 카메라 위치로 옛 장면을 검색해 고정 크기 캐시에 담는다. 그 결과 6개 최근 세계모델 대비 최고 수준의 제어 정확도(회전 오차 11.95도)와 화질을 냈고, 64초 왕복 롤아웃 끝에 출발 지점 풍경을 다시 그려내는 데 성공했다. 슬라이딩 윈도우 방식은 이 길이에서 이미 옛 장면을 지웠고, 과거 전체를 붙잡는 방식은 메모리가 모자라 돌아가지 않는다.

핵심 요약

• 제어는 짧은 어텐션 창, 기억은 긴 창에서 배우도록 헤드별 창 크기를 섞고 매 스텝 무작위로 배정했다.
• 추론 시엔 전체 과거를 버리고, 카메라 자세로 검색한 랜드마크 뱅크로 고정 KV 캐시를 채운다.
• 샘플링을 네 단계로 줄인 LoRA 증류 덕분에 백본 하나가 고화질 다단계 모드와 실시간 대화형 모드를 함께 맡아 704x1280 영상을 실시간으로 내보낸다.
• 제어 정확도(회전 오차 11.95도)와 화질 모두 6개 최근 인터랙티브 세계모델 중 최고를 기록했다.
• 다만 기억을 카메라 자세만으로 찾기 때문에, 움직이는 장면이나 이동이 아닌 상호작용까지 기억을 넓히는 일은 논문이 다음 과제로 남겨 두었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.