Symmetry in language statistics shapes the geometry of model representations

한 이론적 프레임워크는 쌍별 단어 동시출현 통계의 병진 대칭성이 언어 모델 표현의 기하학적 구조를 결정한다는 것을 입증한다.

한 이론적 프레임워크는 쌍별 단어 동시출현 통계의 병진 대칭성이 언어 모델 표현의 기하학적 구조를 결정한다는 것을 입증한다. 이 원리는 순환적 개념에 대한 원형 임베딩이나 견고하고 물결치는 1차원 다양체와 같은 현상을 설명하며, 이는 다양한 모델 구조 전반에서 일관되게 관찰된다.

핵심 요약

• 언어 모델 표현에서 널리 관찰되는 기하학적 패턴(예: 원, 1차원 다양체)에 대한 명확하고 통합적인 이론적 설명은 그동안 대체로 부재했다.
• 다양한 LLM 구조와 과제 전반에 걸친 이러한 기하학적 구조의 명백한 보편성을 설명할 포괄적인 '조직화 원리'가 결여되어 있다.
• 기존 이론 연구는 데이터 분포와 비지도 학습 환경이 어떻게 이러한 특정 표현 기하학을 유도하는지를 충분히 다루지 못했다.
• 쌍별 단어 동시출현 통계 내의 병진 대칭성이 표현 기하학에 대한 보편적 조직화 원리로 작용한다고 제안했다.
• 이 대칭성으로부터 특정 다양체 기하학(예: 원, 물결치는 1차원 다양체)을 해석적으로 도출하는 수학 이론을 개발했다.
• 단순한 단어 임베딩 모델과 복잡한 트랜스포머 기반 대규모 언어 모델을 모두 사용하여 이러한 이론적 예측을 실증적으로 검증했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.