Skill-RAG: Failure-State-Aware Retrieval Augmentation via Hidden-State Probing and Skill Routing

University of Michigan, University of British Columbia, Rutgers University, University of Pennsylvania Perelman School of Medicine, New Jersey Institute of Technology, Technical University of Darmstadt, Wake Forest University의 연구진은 은닉 상태 프로빙과 프롬프트 기반 스킬 라우터를 사용해 RAG 시스템의 검색 실패를 진단하고 표적화된 시정 조치를 적용하는 프레임워크 Skill-RAG를 도입한다.

University of Michigan, University of British Columbia, Rutgers University, University of Pennsylvania Perelman School of Medicine, New Jersey Institute of Technology, Technical University of Darmstadt, Wake Forest University의 연구진은 은닉 상태 프로빙과 프롬프트 기반 스킬 라우터를 사용해 RAG 시스템의 검색 실패를 진단하고 표적화된 시정 조치를 적용하는 프레임워크 Skill-RAG를 도입한다. 이 방법은 분포 외 데이터셋에서 정확도를 크게 향상시켜, MuSiQue와 2WikiMultiHopQA에서 각각 Probing-RAG 대비 6.1점과 13.6점의 향상을 보였다.

핵심 요약

• 기존 검색 증강 생성(RAG) 시스템은 검색 이후의 실패를 부적절하게 진단하는 경우가 많아, 근본 원인을 다루기보다는 통상적인 재시도로 대응하곤 한다.
• 지속적인 검색 실패는 흔히 사용자 질의와 가용 증거 사이의 구조적 정렬 격차(예: 광범위한 질의나 멀티홉 질문)에서 비롯되며, 이는 단순한 반복 검색으로는 해소할 수 없다.
• 전통적인 적응형 RAG 접근법은 세분화되고 실패 조건에 따른 제어가 부족하여, 서로 다른 유형의 검색 부정합이나 모델의 내부 실패 상태를 구별하지 못한다.
• Skill-RAG는 LLM이 검색 후 내부 표현에 기반하여 실패 상태에 있는지를 감지하는 은닉 상태 프로버를 갖춘 반복 파이프라인을 사용한다.
• 실패를 감지하면, 프롬프트 기반 스킬 라우터가 질의와 증거 사이 부정합의 구체적 원인을 진단하고 사전 정의된 네 가지 표적 검색 스킬(예: 질의 재작성, 질문 분해, 증거 집중) 중 하나를 선택한다.
• 선택된 스킬은 질의를 재구성하고 새로운 검색 라운드를 촉발하는 등의 시정 조치를 실행하며, 프로버가 충분함을 나타내거나 종료 스킬이 선택되거나 최대 라운드 수에 도달할 때까지 이 반복 루프를 지속한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.