Measuring the Gap Between Human and LLM Research Ideas

LLM 연구 아이디어가 인간 대비 '연결(synthesis)'에 편향되어 있음을 대규모 분포 분석으로 입증.

LLM이 생성한 연구 아이디어가 인간 연구자의 아이디어와 어떻게 다른지 대규모 평가 프레임워크를 구축했다. 각 논문의 핵심 아이디어를 추출하고 관련 선행연구를 역추론한 뒤, 동일한 맥락에서 LLM에게 새 아이디어를 생성하게 했다. 2축 연구 취향 분류법(opportunity pattern × method paradigm)으로 분석한 결과, LLM 아이디어는 '연결형 기회'와 '종합/통합 방법론'에 편향되어 있으며, 인간 아이디어는 더 넓은 범위의 문제 프레이밍과 기여 전략을 사용한다는 것을 발견했다.

핵심 요약

• 2축 연구 취향 분류법 도입: opportunity pattern(7종) × method paradigm(6종), NSF/NIH/DARPA 기반
• LLM은 'bridge opportunity' 47-64% vs 인간 12.1%, 'synthesis/unification' 22-39% vs 인간 5.1%
• 인간 아이디어가 두 축 모두에서 일관되게 높은 정규화 엔트로피→더 넓은 분포
• LLM 간 코사인 유사도(0.83)가 인간-LLM 유사도(0.72-0.78)보다 높음→모델 간 수렴 현상
• LLM은 'integrate/unify' 아키타입 34.2% vs 인간 2.35%, 인간은 'replace/decouple'에 집중
• 핵결: LLM 아이디어는 합리적이지만 분포적으로 좁음, '연구 취향 정렬'이 과제

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.