A Sequential Decision Framework for Evaluating LLM-Guided Search

이 논문은 딥리서치 에이전트의 검색 과정을 두 가지 행동으로 표현해 정책별로 비교하고 평가하는 틀을 만들었다.

이 논문은 한마디로 LLM이 이끄는 검색을 순차적 결정 문제로 묶어 평가하는 틀을 제안했다. 검색 환경을 랭킹 목록 묶음으로 표현하고, 행동은 기존 랭킹을 이어서 판단하는 select와 새 랭킹을 만드는 spawn 두 가지로 정의했다. 이 틀 안에서 고전 검색 전략과 딥리서치 정책을 같은 기준으로 서술하고 비교할 수 있었다. 실험에서는 검색 방법과 정책 모두 성능을 실질적으로 바꾸는 것으로 나타났다.

핵심 요약

• 검색 과정을 select(기존 랭킹에서 다음 문서를 판단하기)와 spawn(새 랭킹 만들기) 두 행동으로 표현하는 틀을 제안했다.
• 애드혹 검색, MTF, Thompson 샘플링, ISJ, CAL 같은 기존 검색 전략을 같은 환경에서 동작하는 정책으로 서술했다.
• 실험을 TREC Deep Learning 2019 컬렉션에서 했고, 관련성 판단에는 GPT-4o-mini를, 질의 재작성 같은 복잡한 작업에는 GPT-5를 썼다.
• 전역 판단 예산 실험에서 질의 재작성 뒤 MTF 정책이 모든 검색 파이프라인과 예산에서 가장 높은 재현율을 보였다.
• 단일 랭킹을 위에서부터 순서대로 판단하는 애드혹 방식은 모든 파이프라인에서 판단 예산을 가장 못 쓰는 정책이었다.
• 검색 파이프라인 자체도 정책만큼 성능에 영향을 주었고, SPLADE와 하이브리드 파이프라인이 판단 하나당 더 많은 관련 문서를 찾았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.