ABot-3DWorld 0: A Universal World Model to Explore Any 3D Space

알리바바 AMAP의 범용 3D world model로, 텍스트·이미지·비디오를 고품질 탐색 가능 3D Gaussian Splatting 세계로 변환한다. Spatial Generative Primitive(SGP)와 14B 파라노마 비디오 생성기를 결합해 오픈소스 SOTA 달성.

ABot-3DWorld 0는 텍스트, 단일 이미지, 다중뷰 사진, 비디오를 입력으로 받아 탐색 가능한 3D Gaussian Splatting 세계를 생성하는 범용 멀티모달 3D world model이다. 핵심인 Spatial Generative Primitive(SGP)는 파노라마와 공간 포인트 클라우드의 튜플이며, 14B VACE 기반 파노라마 비디오 생성기와 3DRL 포스트트레이닝, 반복적 FLUX 수리 모듈을 결합해 오픈소스 중 SOTA를 달성했다.

핵심 요약

• SGP(파노라마+포인트클라우드)라는 단일 표현으로 모든 입력 모달리티를 통합 처리
• 14B VACE 기반 파노라마 비디오 생성기에 3DRL 포스트트레이닝으로 3D 일관성 향상
• 풍부한 입력(다중뷰, 비디오)은 엄격한 기하학 파이프라인으로 처리하여 환각 최소화
• 반복적 FLUX 기반 수리 모듈로 파노라마 해상도 한계 및 뷰 불일치 해결
• ABot-3DGS 데이터 엔진으로 완전 정합된 (RGB, point-map, pose) 훈련 데이터 생성
• 실내/야외/항공 전 영역을 단일 파이프라인에서 지원하며 지도 POI 연동 가능

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.