Mover360: Controllable Object Manipulation in 360° Panoramic Images

이 논문은 360도 파노라마 사진 안에서 물체를 클릭 한 번으로 옮기고 지우고 넣는 편집 모델을 만들었다.

이 논문은 한마디로 파노라마 사진용 물체 편집기다. 360도 이미지는 좌우가 이어지고 위아래 왜곡이 심해서 일반 편집 모델이 잘 못 다룬다. Mover360은 사전학습 생성 모델(Flux2)에 LoRA만 붙이고, 3채널 지시맵과 깊이 정보로 위치를 지정한다. 게임엔진(UE5)으로 12,150쌍의 학습 데이터를 자동으로 만들어 훈련했고, 합성·실촬영 벤치마크에서 기존 방법들을 종합적으로 이겼다.

핵심 요약

• 360도 이미지에서 물체 이동을 중심에 두고 삭제·삽입까지 한 모델로 처리한다.
• 점 클릭 한 번으로 크기·받침·조명을 추론하며, 박스·마스크로 정밀 제어도 가능하다.
• UE5 파이프라인으로 12,150쌍(에포크당 60,750쌍)의 학습 데이터와 210+50 벤치마크를 만들었다.
• 합성·실제 두 도메인에서 원근 편집·삽입·인페인팅 강자들을 재현 충실도·의미 일관성 모두 앞섰다.
• 다만 지시문이 세 가지 작업으로 고정돼 있어서, 물체 속성을 바꾸거나 복잡한 관계를 말로 지정하는 편집은 아직 되지 않는다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.