Wait a moment...
Exploring the intersection of Code, Data, and Life.
2개의 글
#딥러닝
Large-batch training이 높은 학습 정확도에도 테스트 성능이 낮아지는 이유를 sharp·flat minima와 mini-batch gradient noise 관점에서 정리한다. Local minimum에 대한 오해와 논문의 실험 결과도 함께 살펴본다.
깊은 신경망이 잘 학습되지 않는 원인을 Sigmoid 포화와 Vanishing Gradient 관점에서 살펴본다. 순전파와 역전파의 분산 보존 조건을 통해 Xavier 초기화 공식이 도출되는 과정과 실제 효과를 정리한다.