GeM-NR: Geometry-Aware Multi-View Editing for Nonrigid Scene Changes

생성 모델을 활용한 다중 시점 이미지 편집의 최근 발전은 범용 3D 콘텐츠 생성과 커스터마이징에 한 걸음 더 가까워지게 했다.

기존 다중 시점 이미지 편집은 원래 장면의 기하를 유지하는 색상 변경이나 단단한 물체 편집에는 강하지만, 형태가 크게 바뀌는 편집에는 약하다. 학습이 필요 없는 GeM-NR은 먼저 한 시점의 편집 영상을 받은 뒤, 편집 전후 깊이로 3D 점군을 맞추고 이를 다른 시점에 투영해 후속 편집을 안내한다. FLUX, Qwen, BrushNet 같은 여러 편집기를 그대로 쓸 수 있고 두 시점에서 여러 시점으로 확장할 수 있다. 정량 및 정성 평가에서 큰 형태와 외관 변화에도 편집 품질과 기하·밝기 일관성을 높였으며, 결과 영상으로 편집된 3D 표현도 만들 수 있었다. 다만 하나의 기준 시점에 의존해 시점 차이가 큰 넓은 장면에서는 모든 시점의 일관성을 보장하지 못한다.

핵심 요약

• 이 논문은 기존 방법들이 어려워하는, 기하 구조와 외관에 큰 변화가 있는 편집을 이 방법이 처리할 수 있음을 입증한다.
• 저자들은 편집된 장면의 3D 표현 생성을 포함한 다양한 편집 작업에서 이 방법이 일관성을 개선함을 보이는 광범위한 평가를 수행한다.
• 정량적·정성적 결과 모두 편집 품질뿐 아니라 여러 시점에 걸친 기하적·광도적 일관성 측면에서 이 방법의 최첨단 성능을 나타낸다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.