ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research

이 논문은 연구에 영감을 주는 논문을 찾는 능력의 평가 문제를 실제 연구자의 판단을 모은 시험 자료로 풀었다.

이 논문은 한마디로 비슷한 논문이 아니라 연구를 진전시킬 논문을 찾는 시험을 만든 연구다. 연구자 184명이 207개 연구에서 도움을 받은 논문과 그 이유를 직접 확인했다. 상위 20개 검색 결과에 필요한 논문이 포함된 비율은 검색 에이전트가 42%, 의미 유사도 검색이 48%였다. 검색을 반복하기보다 처음부터 다양한 유용한 후보를 찾는 일이 중요하다는 결과다.

핵심 요약

• 연구자 184명의 판단으로 연구 초기 질문 894개를 구성했다.
• 상위 20개 결과에서 필요한 논문을 찾은 비율이 검색 에이전트 42%, 의미 유사도 검색 48%라고 보고했다.
• 세부 분야 질문에서 유용하다고 인정된 논문의 43.6%는 원래 연구의 참고문헌에 없었다고 확인했다.
• 후보 논문을 더 길게 읽는 것보다 유용한 후보가 검색 결과에 들어오는지가 중요하다고 분석했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.