Cumulative and Audited Guardrail Tool Evolution for LLM Agent Safety

이 논문은 에이전트 안전을 고정 규칙이 아니라 생성, 재사용, 감사, 수선을 반복하는 도구 수준의 진화 과정으로 만들어 새로 나타나는 위험에 대응하게 한 문제를 풀었다.

이 논문은 한마디로 보안 지식을 실행 가능한 가드레일 도구로 밖으로 꺼내 상속하고 감사하고 고치는 자기 진화 방어 프레임워크 EVOLVE를 제안한다. 세 개 에이전트 안전 벤치마크와 네 개 백본에서 기존 방어를 평균 F1 기준 +22% 앞섰다. 핵심 발견은 안전을 위해 만든 도구 자체에도 취약점이 생기는 VGT 현상이며, 독립 감사가 이를 잡아낸다는 것이다. 로봇 팔과 실제 도구 호출 에이전트에서도 적용을 확인했다.

핵심 요약

• 저자들은 고정 규칙 기반 방어가 새로운 위험에 약한 문제를 풀기 위해, 보안 지식을 실행 가능한 가드레일 도구로 만들어 상속하고 감사하고 고치는 네 단계 프레임워크 EVOLVE를 제안했다.
• 여섯 개 전문 에이전트가 위험 분석, 도구 생성, 도구 융합, 실행, 감사, 수선을 맡아 위험 인식에서 신뢰 가능한 적응까지 닫힌 순환을 이룬다.
• RJudge, ASSEBench, AgentHarm 세 벤치마크와 네 개 백본 LLM에서 EVOLVE는 12개 조합 모두 1위를 하고 기존 방어보다 평균 F1 점수를 +22% 앞섰다.
• 안전을 위해 만든 도구의 20% 이상이 처음에는 취약점을 담는 VGT 현상을 찾아냈고, 감사를 거치면 프로그래밍 영역의 위험 도구 비율이 44.78%에서 8.20%로 떨어졌다.
• AI2THOR 몸을 가진 환경에서 93.3%의 위험 탐지 정확도를 보였고, 실제 6-DoF 로봇 팔에서 흉기 위협과 낙하 위험을 막고 충돌을 피하는 경로 재계획을 했다.
• 가드레일 도구 재사용률은 최대 86%에 도달해, 보안 지식이 배포 후 고정되지 않고 상호작용을 통해 쌓이며 진화함을 보였다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.