AlienBench: A Benchmark of Structural Novelty in Language Model Outputs

이 논문은 외계 생물 묘사 과제로 언어모델의 구조적 참신성을 0에서 10점으로 측정하는 AlienBench 벤치마크를 소개한다.

이 논문은 한마디로 인지심리학의 구조화된 상상 과제를 언어모델에 적용해 참신성을 기능 단위로 측정하는 벤치마크 논문이다. 모델은 여섯 가지 프롬프트 조건에서 각 30개씩 총 180개의 외계 생물 묘사를 만들고, 세 LLM 심판이 열 개의 생물학적 특징을 지구 동물 기본값과 같은지 다른지 표시한다. 다른 특징의 합이 0에서 10의 Ward Departure Score가 되고, 세 심판의 판정 일치도는 Krippendorff α 0.913으로 높았다. 열 개 모델 점수는 3.28에서 6.55 사이였고, 오픈 웨이트 모델 평균 5.40이 독점 모델 평균 4.58보다 높았다.

핵심 요약

• AlienBench는 인지심리학의 구조화된 상상 과제를 언어모델에 적용해, 열 개 생물학적 특징이 지구 동물 기본값에서 벗어났는지를 0 또는 1로 표시해 0에서 10점을 매긴다.
• 세 LLM 심판 패널의 판정 일치도는 Krippendorff α 0.913으로 높았고, 각 모델은 여섯 조건에서 30개씩 180개 묘사를 만들었다.
• 열 개 모델의 전체 점수는 3.28(GPT-6 Luna)에서 6.55(Ministral 3 14B 2512) 사이였다.
• 오픈 웨이트 모델 평균 점수 5.40이 독점 모델 평균 4.58보다 높았고, 최고점 모델도 오픈 웨이트였다.
• 기준 프롬프트에서 모든 모델은 100명 인간 참가자보다 모든 특징에서 더 자주 지구 기본값을 벗어났다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.