2. Neural Networks / L3. Training Neural Networks - Other Activation Functions, Batch vs Stochastic Gradient Descent, Learning Rate Decay, Momentum
Other Activation Functions - 이전에 gradient descent로는 해결이 안되었던 문제를 해결하려면 sigmoid function이 아닌 - 다른 activation function을 사용하여야한다. - 바로 "Hyperbolic Tangent" 이다. - sigmoid function과 유사한 그래프를 보이지만, 기울기가 다르다. - 이 작은 차이가 neural networks에 엄청난 영향을 미친다. - 또 다른 activation function으로는 Rectified Linear Unit(ReLU)가 있다. - 이건 매우 간단하다. - 만약 positive일 경우 동일한 값을 리턴, negative일 경우 0을 리턴한다. - 이 방법은 positive의 경우 미분했을때 ..
Deep Learning
2018. 7. 17. 22:58