When can an interpretability claim be trusted? Stability and certification of feature dimensionality, ridge leverage and the feature recovery rate
- 발행일
- 출처
- arXiv
- 논문 번호
- 1489
- 분야
- Interpretability
- arXiv 번호
- 2611.16190
이 논문은 해석성 주장이 임계값과 가중치 미세 변화에 얼마나 민감한지 분석하고, 능선 정규화와 증명서로 신뢰 가능한 조건을 제시했다.
이 논문은 한마디로 해석성 측정이 언제 믿을 수 있는지를 장난감 모델과 합성 사전에서 정밀하게 분석한 이론 연구다. 저자들은 특징 차원성이 불연속이 되는 지점을 특성화하고, 능선 버전으로 바꿔 예리한 안정성 계수를 증명했다. 능선 레버리지 점수는 가중치의 연산자 노름 변화에 비례해 움직이며 그 상수는 개선 불가능하다고 밝혔다. 특징 회복 주장이 어떤 사전 변화에서 살아남아야 하는지 말하는 증명서도 제시했다.
핵심 요약
- 모델 가중치의 작은 변화, 다른 학습 시드, 다른 임계값이 해석성 주장을 뒤집을 수 있으며, 이전 연구에서는 노름 임계값 하나만으로 잘 알려진 규칙성의 24.8% 겉보기 실패가 나타났다.
- 저자들은 특징 차원성이 정확히 어디서 불연속인지 특성화했다. 특징의 가중치 벡터가 사라지는 동시에 다른 특징 벡터들과 직교인 방향이 있을 때다.
- 저자들은 특징 차원성을 능선 정규화 버전으로 바꾸고 예리한 안정성 계수를 증명했으며, 능선 레버리지 점수의 변화 상수는 개선할 수 없다고 밝혔다.
- 저자들은 특징 i가 회복됐다는 주장이 주어진 사전 변화에서 살아남아야 함을 말하는 증명서를 증명했다.
- 실험은 장난감 모델, 합성 사전, 세 개 시드로 학습한 작은 사전에 국한됐고 실제 언어모델은 시험하지 않았다.
논문 링크
외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.