Deep Delta Learning

Deep Delta Learning은 학습 가능하고 데이터 의존적인 기하학적 변환으로 단축 연결을 변조함으로써 잔차 네트워크를 일반화하는 새로운 심층 신경망 아키텍처를 도입한다.

Deep Delta Learning은 학습 가능하고 데이터 의존적인 기하학적 변환으로 단축 연결을 변조함으로써 잔차 네트워크를 일반화하는 새로운 심층 신경망 아키텍처를 도입한다. 이 Delta Operator는 네트워크가 항등 매핑, 직교 사영, 또는 기하학적 반사를 적응적으로 수행할 수 있게 하여, 심층 모델이 학습할 수 있는 동역학의 범위를 엄격하게 가산적인 업데이트를 넘어 확장한다.

핵심 요약

• 심층 잔차 네트워크(ResNet)는 항등 단축 연결을 통해 '엄격하게 가산적인 귀납적 편향'을 부과하여, 학습 가능한 특징 변환의 복잡성을 제한한다.
• ResNet 단축 연결의 고정된 항등 자코비안은 진동이나 '대립적 행동'처럼 종종 음의 고윳값을 갖는 동역학을 요구하는, 복잡하고 비단조적인 상태 전이를 모델링하는 네트워크의 능력을 제약한다.
• 전방 오일러 단계로 간주되는 표준 잔차 업데이트는 강한 평행이동 편향을 보이며, 명시적인 특징 '망각'이나 재배향을 위한 메커니즘이 결여되어 있다.
• 'Delta Residual Block'을 도입한다. 이는 기존의 가산적 잔차 업데이트(다음 층 = 현재 층 + 변환항)를, 단축 연결에 데이터 의존적 기하 변환 행렬과 키·값 보정항을 곱하는 곱셈적 형태로 확장한 것이다.
• 핵심은 'Delta Operator' 'A(X) = I − β(X)k(X)k(X)의 외적'으로, 이는 항등 행렬의 랭크-1 섭동이며 공간적 기하학 변환을 적용한다.
• 이 연산자는 학습 가능하고 데이터 의존적인 반사 방향 k(X)와 0에서 2 사이 범위에서 동적으로 제어되는 게이팅 스칼라 β(X)로 매개변수화된다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.