Principles and Practice of Deep Representation Learning: or a Mathematical Theory of Memory

딥 표현 학습의 수학적 원리를 기억의 수학적 이론 관점에서 체계적으로 정리한 교과서로, PCA부터 Transformer까지 통합 프레임워크로 설명한다.

이 책은 고차원 공간에서 데이터의 저차원 분포를 학습하고 표현하는 문제를 기억의 관점에서 수학적으로 정식화한다. PCA, ICA, Dictionary Learning 같은 고전적 방법부터 ResNet, CNN, Transformer 같은 현대적 심층 신경망을 압축이라는 통합 원리 아래 설명한다. 오토인코딩 아키텍처의 필연성, 폐루프 전사 프레임워크를 통한 자기수정, 학습된 표현을 활용한 베이즈 추론과 생성까지 다룬다. 고전적 접근과 현대적 데이터 주도 접근을 통합하는 이론적 프레임워크를 제시한다.

핵심 요약

• 데이터 압축을 PCA, 디노이징, 스코어매칭, 정보이득 최대화 등 모든 표현 학습 방법의 통합 원리로 제시한다
• ResNet, CNN, Transformer를 반복 최적화 알고리즘으로 수학적으로 해석하여 아키텍처 설계 원리를 규명한다
• 인코더-디코더 구조가 표현의 정확성과 일관성을 보장하기 위한 필연적 설계임을 폐루프 전사 프레임워크로 증명한다
• v2.0에서 대조 학습과 DINO의 이론적 정당화, 인과적 CRATE 트랜스포머 도출, 분포 학습과 표현 학습의 관계를 추가했다
• 시각, 모션, 텍스트 데이터의 대규모 실제 응용에서 이론적 원리의 실천적 효용을 단계별로 입증한다

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.