PaperCritic: Training AI Reviewers to Assess the Soundness of Papers

발행일
출처
arXiv
논문 번호
1474
분야
Research Agents
arXiv 번호
2611.17834

논문의 건전성을 평가하는 AI 심사자를 F1 보상 강화학습으로 훈련해 프론티어 모델보다 좋은 성적을 냈다.

이 논문은 한마디로 논문의 건전성(주장이 근거로 뒷받침되는지)만을 평가하는 AI 심사자를 훈련하는 방법을 제시한다. 저자들은 리뷰를 개별 리뷰 포인트로 나누고, 리뷰 포인트의 건전성·실질성을 정밀도, 참조 리뷰 커버리지를 재현율로 정의해 함께 최대화하는 문제로 바꿨다. 논문 1K 편에서 모은 리뷰 포인트 23K개에 품질 표식을 붙인 PaperSound-23K 데이터를 만들었다. F1 점수를 보상으로 쓰는 강화학습으로 훈련한 PaperCritic-4B는 같은 크기 모델과 프론티어 모델을 모두 이겼다.

핵심 요약

  • 연구자 7명을 대상으로 사람 연구를 하여 리뷰 품질 기준이 건전성과 실질성 두 가지로 정리되었다.
  • 논문 1K 편에서 모은 리뷰 포인트 23K개에 품질 표식을 붙여 PaperSound-23K 데이터를 만들었다.
  • 건전성과 실질성을 정밀도로, 참조 리뷰 커버리지를 재현율로 보고 F1 점수를 보상으로 하는 강화학습으로 PaperCritic을 훈련했다.
  • PaperCritic-4B는 도메인 내 시험에서 F1 45.1을 기록해 같은 크기의 다른 훈련 모델보다 21.4 pp 높았다.
  • PaperCritic-4B는 프론티어 모델인 DeepSeek-V4-Flash-0731과 Claude Opus 5를 F1에서 각각 5.8 pp, 6.0 pp 앞섰다.
  • ICLR 논문 리뷰 훈련이 Nature 계열 논문 리뷰와 코드 리뷰, 법률 계약서 리뷰, 소설 피드백 과제로 옮겨갔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.

원문 보기 (새 탭에서 열림)