There Will Be a Scientific Theory of Deep Learning

공동 연구진은 신경망 거동을 수학적·제일원리 계산을 통해 설명하고 예측하려는 딥러닝의 과학 이론, 즉 학습 역학의 출현에 대한 종합적 논증을 제시한다.

공동 연구진은 신경망 거동을 수학적·제일원리 계산을 통해 설명하고 예측하려는 딥러닝의 과학 이론, 즉 학습 역학의 출현에 대한 종합적 논증을 제시한다. 다양한 이론적·실증적 증거를 통합하여 스케일링 법칙, 학습 동역학, 보편 표현 같은 현상에 대한 통일된 이해로 가는 경로를 제안한다.

핵심 요약

• 전통적 딥러닝 이론은 현대 신경망에서 관찰되는 복잡하고 비볼록하며 과매개변수화된 거동을 설명하는 데 어려움을 겪는다.
• 현재의 딥러닝 시스템 설계 및 최적화 관행은 원리에 기반한 과학적 토대 없이 경험적 시행착오에 의존하는 경우가 많다.
• 점점 강력해지는 AI 시스템을 안전성과 해석 가능성 측면에서 기술하고 특성화하며 통제하려면 근본적인 과학적 이해가 필요하다.
• 딥러닝을 위한 과학 이론으로 학습 역학을 제안하며, 이는 제일원리 계산을 통해 신경망과 그 학습 과정의 근본 특성을 특성화하는 것을 지향한다.
• 딥러닝 이론을 위한 과학적 방법론을 옹호하며, 실증적 관찰, 반증 가능한 예측, 단순하고 통일적인 원리의 추구를 강조한다.
• 기존 연구를 다섯 범주(예: 해석적으로 풀리는 설정, 통찰을 주는 극한, 경험적 법칙)에 걸쳐 종합·재해석하여 이 이론의 실현 가능성과 출현에 대한 증거로 제시한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.