Policy-based Foveated Imaging and Perception

초고해상도 이미지 센서는 많은 시각 인식 작업에 중요한 정밀한 공간적 세부 정보를 포착할 잠재력을 제공하지만, 현실적인 대역폭, 지연 시간, 전력 제약 하에서 모든 픽셀을 전체 해상도로 획득하고 처리하는 것은 종종 실현 불가능하다.

이 논문은 초고해상도 센서의 모든 픽셀을 전송하기 어려운 상황에서 중요한 영역에만 해상도를 집중하는 포비티드 이미징 시스템을 제안한다. 저해상도 전체 화면과 과거 관측을 이용해 다음에 고해상도로 측정할 위치를 정하는 센서 주의 정책을 학습함으로써 영상 획득과 인식을 하나의 순환 구조로 묶는다. 시뮬레이션의 객체 추적, 도로 문자 인식, 로봇 조작 과제에서 같은 픽셀 예산을 쓰는 공간·시간 다운샘플링 기준선보다 전반적으로 높은 성능을 냈다. 연구진은 2억 화소 듀얼 스트림 센서로 실제 영상도 촬영해 현실적인 대역폭과 지연 시간 제약 아래에서 작동 가능성을 확인했다. 따라서 이 방식은 모든 장면을 균일하게 줄이는 대신 현재 과제에 필요한 세부 정보부터 획득하는 고효율 비전 센서 설계에 의미가 있다.

핵심 요약

• 기존 접근법은 공간적 또는 시간적 다운샘플링과 같은 획득 전략을 통해 이 문제를 해결하는데, 이는 작업 관련성을 평가하기도 전에 정보를 돌이킬 수 없게 버린다.
• 이 논문은 이미지 획득 시점에 직접 작동하는 실시간, 예측적, 작업 인식형 포비티드 이미징 시스템을 소개한다.
• 여러 인식 작업에 걸친 광범위한 시뮬레이션을 통해, 이 접근법이 엄격한 픽셀 예산 하에서 높은 작업 성능을 달성하며 동일한 대역폭에서 작동하는 관련 기준선들을 크게 능가함을 입증한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.