NoProp: Training Neural Networks without Full Back-propagation or Full Forward-propagation

NoProp은 전체 종단 간 역전파나 순전파의 필요성을 없애고, 대신 개별 네트워크 블록이 목표 레이블의 잡음 섞인 버전을 노이즈 제거하도록 학습시키는 신경망 학습 방법을 도입한다.

NoProp은 전체 종단 간 역전파나 순전파의 필요성을 없애고, 대신 개별 네트워크 블록이 목표 레이블의 잡음 섞인 버전을 노이즈 제거하도록 학습시키는 신경망 학습 방법을 도입한다. 생성형 확산 및 흐름 정합 모델에서 영감을 받은 이 접근법은 전통적 역전파에 필적하는 분류 정확도를 달성하면서도 메모리 소비를 크게 줄이고 학습 병렬성을 향상시킨다.

핵심 요약

• 전통적 역전파는 '가중치 수송 문제'와 순방향·역방향 패스의 동기화 요구 때문에 생물학적으로 타당하지 않다.
• 전체 역전파는 중간 활성값을 저장해야 해 상당한 메모리 부담을 초래하며, 순차적 의존성 때문에 네트워크 계층 간 진정한 병렬화를 제한한다.
• 역전파의 전역 오차 신호와 순차적 신용 할당은 평생 학습 시나리오에서 파국적 망각과 간섭 같은 문제를 유발할 수 있다.
• 노이즈 제거 확산 및 흐름 정합 모델에서 영감을 받은 블록 단위 신경망 학습 방법 NoProp을 도입한다.
• 각 네트워크 블록은 해당 블록 내에서만 지역적 역전파를 활용하여 목표 레이블의 잡음 섞인 버전을 '노이즈 제거'하는 법을 독립적으로 학습한다.
• 입력과 목표 레이블을 모든 블록에 '브로드캐스트'하여, 전역 오차 신호 전파 없이도 각 블록의 목적을 독립적으로 최적화할 수 있게 한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.