Eliciting Research Taste in LLMs through Future Research Direction Choice
- 발행일
- 출처
- arXiv
- 논문 번호
- 1478
- 분야
- Research Agents
- arXiv 번호
- 2611.19794
LLM이 논문의 다음 연구 방향을 저자와 같은 방향으로 고르는지 측정해 연구 취향을 행동으로 평가했다.
이 논문은 한마디로 LLM의 연구 취향을 다음 연구 방향 선택 과제로 행동적으로 측정하는 방법을 제시한다. ML 논문 19편에서 쌍 비교 과제 80개를 만들어 저자 추천 방향과 그럴듯한 다른 방향 가운데 하나를 고르게 했다. 모델 8개의 저자 일치율은 45.0%에서 67.5%, 안정적 이탈율은 15.0%에서 36.2%였다. 이탈은 유사도 통제와 프롬프트 변형에도 대부분 유지되어 모델들이 공유하는 선호가 존재했다.
핵심 요약
- 모델 학습 기준일 이후에 나온 ML 논문 19편에서 쌍 비교 과제 80개를 만들었다.
- 모델 8개의 저자 일치율은 45.0%에서 67.5%, 안정적 이탈율은 15.0%에서 36.2%였다.
- 쌍 80개 중 45개에서 적어도 한 모델이 안정적으로 이탈했고 이탈 사건은 총 169건이었다.
- 프롬프트 변형 4가지에서 모델들은 가중 평균 66.9%에서 80.5%의 이탈을 유지했다.
- 사람 파일럿 실험의 고정 응답 95개 중 58개(61.1%)가 저자 추천 방향을 골랐다.
- 이탈 분석에서 인프라에서 방법론으로 옮겨가는 패턴이 55건으로 가장 많았다.
논문 링크
외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.