RubricAtlas: Mining Type-Level Rubrics from Expert Reports to Evaluate Deep Research Agents

전문가 리포트 여러 편에서 유형 수준의 평가 기준을 캐내어, 딥리서치 에이전트 보고서의 분석 완성도를 채점하는 틀을 만들었다.

이 논문은 한마디로 전문가 보고서에서 반복되는 분석 요구사항을 뽑아 딥리서치 에이전트의 보고서를 평가하는 틀을 제안한다. 평가는 분석 질문 중심의 위계로 짜이고, 각 판정은 보고서 근거 구절에 연결된다. 분석 완성도와 논거 타당성은 따로 평가한다.

핵심 요약

• 저자는 중국어 금융 리포트 3,079편에서 99개 연구 유형, 921개 질문, 8,160개 체크포인트로 이루어진 RubricAtlas를 만들었다.
• 개별 리포트는 자기 유형 질문의 중앙값 54%만 덮어서, 한 편만 기준으로 삼으면 평가 범위가 좁아진다.
• 두 심판 파이프라인은 체크포인트 일치도 κ = 0.71, 에이전트 순위 일치도 Kendall τ = 0.87을 보였다.
• 한 질문에 해당하는 구절을 지우면 그 질문 점수가 0.64에서 0.21로 떨어졌고, 관계없는 텍스트를 40% 더해도 점수는 오르지 않았다.
• 과제 원전 리포트가 지원하는 질문만으로 평가하면 완성도 점수가 10.5점 오르고 순위도 바뀌어서, 기준 선택이 결과를 좌우한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.