INSIGHTS

큰 배치는 왜 일반화가 나빠질까? Sharp Minima와 Mini-batch Noise 정리

Large-batch training이 높은 학습 정확도에도 테스트 성능이 낮아지는 이유를 sharp·flat minima와 mini-batch gradient noise 관점에서 정리한다. Local minimum에 대한 오해와 논문의 실험 결과도 함께 살펴본다.