CameraAnything: Refilming Videos with Arbitrary Camera Control

기존 영상을 임의의 카메라 위치, 초점, 해상도로 다시 찍어주는 첫 통합 편집 프레임워크다.

기존 카메라 제어 영상 편집은 3D 복원에 의존하거나 카메라 위치 같은 외부 파라미터만 바꿨다. CameraAnything은 픽셀별 광선 표현과 해상도 반영 3D 위치 인코딩을 자기어텐션에 넣어 위치, 초점거리, 해상도를 한 번에 제어한다. 짝 데이터 부족은 여러 대 카메라 동기 촬영 합성 파이프라인으로 풀고, 직교 학습으로 단일과 복합 제어를 모두 지원한다. 합성과 실세계 벤치마크에서 카메라 정확도와 화질 모두 최고 성능을 낸다.

핵심 요약

• 위치와 방향 같은 외부, 초점거리와 해상도 같은 내부 카메라 파라미터를 함께 제어한다.
• 픽셀별 광선 표현과 해상도 반영 3D 위치 인코딩을 자기어텐션에 결합한다.
• 자르기나 바깥 채우기 없이 원본 해상도 편집을 한 번의 생성으로 처리한다.
• 여러 대 카메라 동기 촬영 기반 합성 파이프라인으로 짝 학습 데이터를 만든다.
• 실세계 회전 오차 2.76도로 ReCamMaster 5.12도, TrajectoryCrafter 13.99도보다 낮다.
• 합성 데이터만으로 학습해도 실세계 영상에 일반화한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.