Probing Minimalist Phase Structure in LLMs: What Universal Dependencies Cannot Represent

LLM이 통사론의 위상(phase) 구조를 인코딩하는지를 wh-movement 자극으로 검증한 연구로, UD가 표현하지 못하는 형식 통사론 추상을 13개 모델에서 확인했다.

본 연구는 대형 언어 모델이 Universal Dependencies(UD)가 포착하지 못하는 형식 통사론적 추상인 위상 구조(phase structure)를 인코딩하는지 검증한다. UD 거리가 조건 간 동일하도록 설계된 wh-movement 자극을 사용하여, 4개 패밀리의 13개 LLM에서 위상 수에 따른 기울기(phase-count gradient)와 13/13 부호 비대칭을 발견했다. 이는 최소주의 프로그램(MP)의 위상 내 응집력 예측과 일치하며, activation patching으로 인과적 활동성도 확인했다.

핵심 요약

• UD tree distance가 조건 간 불변하도록 설계된 wh-movement 자극으로 UD 이상의 구조 탐지
• 13개 LLM(4개 패밀리) 중 12개에서 위상 수에 비례하는 거리 기울기(βfin > βinf > 0) 확인
• 위상 내 응집력 예측을 정확히 맞추는 13/13 부호 비대칭 발견 — UD 기반 probing으로는 불가능한 결과
• Canonical-layer reporting 도입: per-contrast peak 보고의 자유도 제거로 더 엄격한 기준 적용
• Activation patching으로 probe 결과의 인과적 활동성을 12/13 모델에서 확인
• 분포적 사전학습이 주석 기반 probing 한계를 넘어서는 형식 통사론 표현을 유도할 수 있음을 시사

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.