INSIGHTS

[Xavier 초기화] 깊은 신경망은 왜 학습되지 않았을까?

깊은 신경망이 잘 학습되지 않는 원인을 Sigmoid 포화와 Vanishing Gradient 관점에서 살펴본다. 순전파와 역전파의 분산 보존 조건을 통해 Xavier 초기화 공식이 도출되는 과정과 실제 효과를 정리한다.