MMA-SafetyBench: A Benchmark for Multimodal Agent Safety Evaluation

가짜 시스템 경고창 같은 눈속임 화면이 멀티모달 에이전트를 원래 임무에서 벗어나게 하는 문제를 1,083개 궤적으로 잰 안전 벤치마크 논문이다.

이 논문은 한마디로 보이는 화면을 믿고 행동하는 멀티모달 에이전트가 가짜 경고창에 속아 원래 일을 버리는 '시각 의미 납치'를 재는 벤치마크다. 연구진은 웹, 데스크톱, 모바일, 문서, 영상 다섯 분야에서 1,083개의 대항 궤적을 만들었다. 아홉 개 모델을 시험하자 공격 성공률이 최고 87.96%까지 올라갔다. 안전을 우선하라는 문구를 붙여도 평균 공격 성공률이 19.54%까지만 내려가고 실패가 사라지지 않았다.

핵심 요약

• 연구진은 위조된 시스템 알림처럼 그럴듯한 눈으로 보는 요소가 에이전트를 맡은 일에서 벗어나게 하는 실패 양상을 시각 의미 납치(Visual Semantic Hijacking)라 이름 붙였다.
• 웹 자동화, 데스크톱 GUI, 모바일 항법, 문서 이해, 영상 처리 다섯 분야에 걸쳐 1,083개의 대항 궤적을 담은 MMA-SafetyBench를 만들었다.
• 아홉 개 비전-언어 모델을 시험한 결과 공격 성공률(ASR)은 최고 87.96%, 의미 타협률(SCR)은 98.09%까지 올라갔다.
• GPT-5 심판은 사람 라벨과 300건 중 290건(96.67%)에서 같은 판정을 내려 채점 신뢰성을 확인했다.
• 안전 우선 프롬프트(SPP)를 붙이자 45개 모델-분야 쌍에서 평균 ASR가 55.20%에서 19.54%로 내려갔지만 잔여 실패는 여전히 컸다.
• 한계로, 좌표 명중 중심의 ASR는 접지 오류를 튼튼한 방어로 잘못 세울 수 있고 실제 배포 환경의 공격 빈도는 재지 않는다고 밝혔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.