Robustifying Vision-Language Models via Test-Time Prompt Adaptation

CLIP 등 VLM의 적대적 강건성을 test-time prompt 적응으로 향상시키는 RITA 프레임워크. optimal transport로 증강 뷰 분포를 텍스트 프로토타입과 정합한다.

RITA(Robust test-time prompT Adaptation)는 적대적 섭동 하에서 VLM의 강건성을 향상시키는 test-time 적응 프레임워크로, 샘플 단위 신뢰도 대신 분포 수준 정합을 사용한다. 적대적 섭동이 전체 표현을 왜곡하지만 증강 뷰의 분포에서는 의미론적 무결성이 부분적으로 보존된다는 관찰에 기반하여, optimal transport로 증강 시각 특징 분포와 텍스트 프로토타입을 정합하고 동적 캐시로 테스트 스트림에서 신뢰할 수 있는 단서를 점진적으로 축적한다.

핵심 요약

• RITA는 시험 이미지의 여러 증강 특징 분포를 텍스트 원형 분포와 최적수송으로 맞춰 적대적 이상치를 줄인다.
• 동적 캐시는 시험 흐름에서 신뢰할 수 있는 단서를 쌓아 프롬프트를 온라인으로 계속 다듬는다.
• 여러 실험에서 깨끗한 이미지 정확도를 낮추지 않으면서 적대적 공격에 대한 VLM의 강건성을 높였다.
• 모델을 다시 학습하거나 라벨 데이터에 접근하지 않아도 되어 기존 CLIP 계열 분류 시스템에 시험 시점 방어로 붙일 수 있다.
• 현재 검증은 이미지 분류 중심이며 이미지 설명 같은 생성 과제로의 확장은 남아 있고 모든 새로운 공격 위험을 없애지는 못한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.