Sensor2Sensor: Cross-Embodiment Sensor Conversion for Autonomous Driving

Waymo 연구진은 실제 단안 비디오를 360도 카메라 뷰와 LiDAR 포인트 클라우드를 포함한 고충실도 멀티모달 자율주행 차량 센서 로그로 변환하는 생성 프레임워크 Sensor2Sensor를 소개한다.

자율주행 차량이 모은 센서 로그는 품질은 높지만 지역과 센서 구성, 드문 상황의 다양성이 제한적이고 일반 블랙박스 영상은 기존 자율주행 시스템 입력 형식과 맞지 않는다. Sensor2Sensor는 단안 블랙박스 영상을 여러 카메라 시점과 LiDAR 포인트 클라우드로 이루어진 차량 센서 로그로 바꾸는 생성 모델이다. 짝을 이룬 학습 데이터가 없다는 문제를 해결하기 위해 실제 차량 로그를 4D 가우시안 스플래팅으로 복원한 뒤 블랙박스 시점 영상으로 다시 렌더링한다. 이렇게 만든 대응 자료로 확산 모델을 학습해 반대 방향의 센서 변환을 수행한다. 논문은 생성 데이터의 충실도와 사실성을 정량 평가하고 인터넷과 블랙박스 영상 변환 사례를 보였지만, 실제 자율주행 안전 성능의 향상까지 입증한 것은 아니다.

핵심 요약

• 자율주행 차량(AV) 차량군이 수집한 독점 데이터는 고충실도이긴 하지만 규모, 센서 구성의 다양성, 그리고 지리적·롱테일 행동 커버리지 측면에서 제한적이다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.