rTaste: Do Research Agents Have Taste? Evaluating Early Stage Research Judgment

이 논문은 연구 에이전트의 초기 연구 감각을 측정했다. 최전선 모델들이 최신 논문에서 최소 실험을 제안하고 결과를 예측·순위 매기면, 모든 실험을 실제로 실행해 그 판단을 감사한다.

이 논문은 한마디로 연구 에이전트가 어떤 실험이 돌릴 가치가 있는지 미리 가려내는 감각(taste)을 평가한 연구다. 최전선 모델 여섯 개에 최신 NLP 논문 일곱 편을 주고 최소 실행 실험을 제안하게 한 뒤, 별도 실행자가 모든 실험을 돌리고 세 감사 모델이 결과를 판정했다. 제안된 415개 실험 중 194개는 건전하고 가치 있고 새로웠지만, 순위가 선택을 실제로 좋게 만든다는 증거는 제한적이었다. 에이전트의 예측은 기저율보다 정확했으나 논문과 등록 문서만 본 같은 모델 판사와는 차이가 없었다.

핵심 요약

• 최전선 모델 여섯 개에 최신 NLP 논문 일곱 편을 주고 최소 실행 실험을 제안, 예측, 순위 매기게 했다.
• 제안된 415개 실험 중 194개가 건전하고 가치 있고 새롭다고 판정됐고, 논문을 넘어서고 뻔하지 않은 실험은 73개였다.
• 에이전트의 첫 선택은 감사자가 가장 가치 있게 본 실험과 38% 일치해 무작위 20%보다 나았다.
• 에이전트 예측의 Brier 점수는 0.192로 기저율 0.240보다 정확했으나, 여섯 판사 평균 0.179보다 못했다.
• 팀은 단일 연구자보다 평균 0.71개 더 좋은 실험을 냈지만 통계적으로 유의하지 않았고, 조건당 비용은 $15.31 대 $23.93로 컸다.
• 감사 결과 66%의 실험은 논문 위에 세워졌고 44%는 뻔한 후속 실험 목록에 있어서, 새 방향을 여는 실험은 드물었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.