How abundant are good interpolators?

과파라미터화 환경에서 보간 분류기의 일반화 성능이 지수적으로 집중되는 현상을 대편차 원리로 증명한다.

이 논문은 가우시안 혼합 모델과 로지스틱 모델에서 데이터를 완벽히 분류하는 단위 노름 선형 분류기들의 집합 S에서 무작위로 선택한 분류기의 일반화 오차에 대편차 원리(large deviation principle)를 확립한다. 그 결과, S 안의 거의 모든 보간 분류기가 동일한 일반화 성능에 지수적으로 집중된다는 놀라운 현상을 보여준다. 또한 과파라미터화 영역에서 기울기 하강과 선형 계획법이 S의 대다수 분류기보다 우수한 성능을 보여, 이들의 무해한 과적합(benign overfitting)이 자명하지 않음을 시사한다.

핵심 요약

• 보간 분류기 집합에서 무작위 선택 시 일반화 오차에 대한 대편차 원리를 확립한다.
• 거의 모든 보간 분류기가 동일한 일반화 성능에 지수적으로 집중됨을 보인다.
• 가우시안 혼합 모델과 로지스틱 모델 두 가지 자연스러운 분포에서 분석한다.
• 과파라미터화 영역에서 기울기 하강과 선형 계획법이 무작위 보간기보다 우수하다.
• 실용적 알고리즘의 무해한 과적합이 자명하지 않은 비자명한 현상임을 시사한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.