Your UnEmbedding Matrix is Secretly a Feature Lens for Text Embeddings

LLM의 unembedding matrix에 고빈도 토큰을 embedding 공간에 주입하는 잠재 부분공간이 존재함을 발견하고, 이를 필터링하는 EmbedFilter로 zero-shot 텍스트 임베딩 성능을 최대 14.1% 향상시켰다.

LLM을 텍스트 임베딩 모델로 사용할 때 성능이 저하되는 원인을 mechanistic interpretability 관점에서 분석했다. Logit Lens 분석을 통해 텍스트 임베딩이 의미적으로 무의미한 고빈도 토큰에 정렬되는 representation collapse 현상을 발견했고, 이의 원인이 unembedding matrix의 edge spectrum 부분공간임을 규명했다. 이 부분공간을 단순 선형 변환(EmbedFilter)으로 제거하면 MTEB에서 최대 14.1% 향상을 달성하며, 자연스러운 차원 축소로 인덱스 저장과 검색 속도 개선도 함께 얻을 수 있다.

핵심 요약

• LLM 임베딩이 고빈도 무의미 토큰에 정렬되는 representation collapse 발견
• Unembedding matrix의 edge spectrum 부분공간이 원인임을 규명
• EmbedFilter: 단순 선형 변환으로 해당 부분공간 필터링, 추가 학습 불필요
• MTEB에서 최대 14.1% 성능 향상, 다양한 LLM backbone에 적용 가능
• 거리 보존 차원 축소로 저장 공간 절감 및 검색 속도 향상 효과
• BERT-whitening 등 기존 보정 방법 대비 무감독 설정에서 우수

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.