How Specific Do I Need to Be? Effects of User Query Underspecification on Deep Research Agents

이 논문은 사용자 질의가 불명확할 때 딥 리서치 에이전트의 답 품질과 검색 행동이 어떻게 무너지는지 측정 프레임워크로 보인 문제다.

이 논문은 한마디로 질의가 불완전할 때 딥 리서치 에이전트가 무엇을 잃는지 측정한 논문이다. 저자들은 실제 연구자 대화 기록에서 자주 빠지는 정보 유형 세 가지를 뽑아 UNDERSPEC-DR 프레임워크를 만들고, 세 딥 리서치 에이전트를 세 벤치마크에서 시험했다. 불명확한 질의는 인용 품질 대신 사용자 정보 요구 충족도를 떨어뜨렸고, 에이전트는 빠진 정보를 사용자에게 묻지 않고 모델 내부 지식으로 채웠다.

핵심 요약

• 실제 연구자와 에이전트 대화에서 뽑은 초기-최종 질의 쌍 203개 가운데 176개에 초기 질의에 없는 정보가 담겨 있었다. 저자들은 이를 근거로 빠지는 정보 유형을 도출했다.
• 빠진 정보 세 유형인 범위, 용어, 선호가 176쌍의 94%를 덮었고, 각각 45%, 37%, 33%에서 나타났다.
• DR Tulu, Tongyi-DR, GPT-5.4 세 에이전트에서 범위나 용어 하나만 빠져도 루브릭 기반 점수가 통계적으로 유의하게 떨어졌고, 질의가 더 불명확할수록 하락이 커졌다.
• 인용 정밀도는 완전 불명확 조건에서도 유의한 변화가 없어서, 불명확성은 환각을 늘리지 않고 사용자 정보 요구와의 정렬을 해쳤다.
• 에이전트 대부분은 불명확을 알아채지 못하고 답했고, 가정을 밝히고 진행한 경우가 알아채지 못한 경우보다 답 품질 하락이 더 큰 조건도 네 개 중 세 개였다.
• 검색 행동에서는 탐색 전환이 늘고 사용자 질의에서 온 토큰 비중은 줄며 추적 불가 토큰 비중은 늘었는데, 새 문서를 더 많이 가져와도 이후 검색에 활용은 늘지 않았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.