Security of Deep Research Agents: Attack Surface, Defenses, Benchmarks, and Agenda Seeding against Research Planning

발행일
출처
arXiv
논문 번호
1481
분야
AI / Agents
arXiv 번호
2611.20045

딥리서치 에이전트의 보안 연구를 4단계로 정리하고, 지시문 없이 평가 기준만 심는 아젠다 시딩 공격이 표적을 16%에서 28%의 보고서에서 1순위로 만들었음을 보였다.

이 논문은 한마디로 개방형 웹을 읽는 딥리서치 에이전트의 공격 면과 방어를 체계화하고 새 공격을 실험했다. 검색, 계획, 증거 통합, 보고서 생성의 4단계 위협 모델과 공격·방어 분류를 정리했다. 본연구 34편을 부호화한 결과 26.5%만 계획 단계를 다뤘다. 저자들이 제안한 아젠다 시딩 공격은 샌드박스 실행 3,520번에서 표적을 16%에서 28%의 보고서 최상위로 올렸다.

핵심 요약

  • 딥리서치 에이전트를 검색, 계획, 증거 통합, 보고서 생성의 4단계로 나눈 통일 위협 모델을 제시했다.
  • 본연구 34편 부호화에서 26.5%만 계획 단계를 다뤘고 상업 제품의 종단 간 오염 평가는 없었다.
  • 지시문을 쓰지 않고 가짜 평가 기준만 심는 아젠다 시딩 공격을 제안했다.
  • 같은 예산의 샌드박스 실행 3,520번에서 GEO와 프롬프트 인젝션은 거의 효과가 없었다.
  • 아젠다 시딩은 표적을 16%에서 28%의 보고서에서 최상위 선택으로 만들었다.
  • 출처 표식 방어는 품질을 유지했지만 여러 지점 미끼로 우회될 수 있었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.

원문 보기 (새 탭에서 열림)