Machine Learning
[Tensorflow] 09 딥러닝에서 Vanishing gradient, Overfitting 해결하기
01. Geoffrey Hinton 이전 시간에도 보았듯이 딥러닝에서 깊이가 깊어질수록 Vanishing gradient로 인해 오히려 학습이 안되는 이유를 살펴보았습니다. 이에 덧붙여 그 해결방법으로 Sigmoid 함수였던 Activation function을 바꿔주면 된다고 언급하였습니다. Hinton 교수님은 이를 포함하여 딥러닝이 일시적으로 한계에 봉착한 이유 4가지를 정리하였습니다. (1) Our labeled datasets were thousands of times too small. (2) 더보기…