Eliciting Research Taste in LLMs through Future Research Direction Choice

발행일
출처
arXiv
논문 번호
1478
분야
Research Agents
arXiv 번호
2611.19794

LLM이 논문의 다음 연구 방향을 저자와 같은 방향으로 고르는지 측정해 연구 취향을 행동으로 평가했다.

이 논문은 한마디로 LLM의 연구 취향을 다음 연구 방향 선택 과제로 행동적으로 측정하는 방법을 제시한다. ML 논문 19편에서 쌍 비교 과제 80개를 만들어 저자 추천 방향과 그럴듯한 다른 방향 가운데 하나를 고르게 했다. 모델 8개의 저자 일치율은 45.0%에서 67.5%, 안정적 이탈율은 15.0%에서 36.2%였다. 이탈은 유사도 통제와 프롬프트 변형에도 대부분 유지되어 모델들이 공유하는 선호가 존재했다.

핵심 요약

  • 모델 학습 기준일 이후에 나온 ML 논문 19편에서 쌍 비교 과제 80개를 만들었다.
  • 모델 8개의 저자 일치율은 45.0%에서 67.5%, 안정적 이탈율은 15.0%에서 36.2%였다.
  • 쌍 80개 중 45개에서 적어도 한 모델이 안정적으로 이탈했고 이탈 사건은 총 169건이었다.
  • 프롬프트 변형 4가지에서 모델들은 가중 평균 66.9%에서 80.5%의 이탈을 유지했다.
  • 사람 파일럿 실험의 고정 응답 95개 중 58개(61.1%)가 저자 추천 방향을 골랐다.
  • 이탈 분석에서 인프라에서 방법론으로 옮겨가는 패턴이 55건으로 가장 많았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.

원문 보기 (새 탭에서 열림)