DeepResearch RewardBench: Evaluating Reward Models for Deep Research Report

이 논문은 심층 리서치 보고서를 평가하는 보상 모델을 전용 벤치마크로 처음 측정했다.

이 논문은 한마디로 긴 연구 보고서의 품질을 매기는 보상 모델을 평가하는 최초의 벤치마크를 만든 연구다. 기존 평가는 짧은 응답용 보상 모델에 의존해 긴 보고서 품질을 제대로 잡지 못했다. 저자들은 심층 리서치 보고서 모음을 모으고 채점 절차와 필터를 정해 데이터를 만들었다. 7B에서 235B까지 19 models을 측정해 순위와 약점을 공개했다.

핵심 요약

• 저자들은 심층 리서치 보고서 평가용 보상 모델을 전용으로 측정하는 최초의 벤치마크를 만들었다.
• 데이터 만들 때에는 보고서 점수 차가 10/30 points보다 큰 쌍만 골라 변별력을 확보했다.
• 평가는 7B에서 235B에 이르는 19 models을 세 그룹으로 나눠 수행했다.
• 평가는 7B에서 235B에 이르는 19 models를 세 그룹으로 나눠 수행했다.
• 사람 채점자들의 초기 일치율은 63%였고 토론 뒤 약 85%로 올라갔다.
• 저자들은 이 벤치마크가 연구 지향 에이전트의 평가와 개선에 필요한 시험대가 되기를 기대했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.