IdeaTaste: Do LLMs Share the Research Taste of Human Researchers?

이 논문은 LLM 에이전트의 연구 감각을 사람 공동체가 실제로 발표한 논문과 겹치는 정도로 측정한 벤치마크다.

이 논문은 한마디로 LLM 에이전트가 내는 연구 아이디어가 사람 공동체의 실제 연구와 얼마나 겹치는지 재는 IdeaTaste 벤치마크다. 여섯 모델이 네 분야에서 90,000개 넘는 제안을 썼다. 인용 일치는 약 26%, 아이디어 일치는 18%에 그쳤다. 저자들은 병목이 방향을 찾는 데 있지 않고 그것을 구체적 접근으로 바꾸는 데 있다고 결론지었다.

핵심 요약

• 저자들은 여섯 최신 언어 모델과 네 연구 분야에서 90,000개가 넘는 연구 제안을 모아 연구 감각을 측정했다.
• LLM 에이전트의 인용 일치는 약 26%, 아이디어 일치는 18%로 사람 수준에 크게 못 미쳤다.
• 각 에이전트는 20 steps 예산 안에서 작업했고 각 집단은 300 proposals를 썼으며 이는 두 차례에 걸쳐 150개씩 작성되었다.
• 2026년 이전에 학습된 두 모델은 2026 논문을 볼 수 없어 결과가 데이터 누수 없이 깨끗하다고 저자는 말했다.
• 블라인드 전문가 평가에서 AI 제안은 모든 품질 항목에서 2026 논문보다 낮았고 특히 예상 성공에서 20 points 뒤졌다.
• 저자들은 연구 감각의 병목이 무엇을 연구할지 아는 데 있지 않고 그것을 구체적 접근으로 바꾸는 데 있다고 해석했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.