2. Neural Networks / L7. Keras - Optimizers in Keras

Keras Optimizers

 - Keras엔 다양한 Optimizer들이 있다. 상세

 - Optimizer들의 세부 구현 설명

 - 그중에 가장 많이쓰이는것들을 다뤄보면

 · SGD

 - Stochastic Gradient Descent 를 지칭, 다음과같은 인자를 취함

 - Learning rate

 - Momentum : local minima에 빠지지 않기위해 이전 단계에서의 가중치가 적용된 평균을 사용

 - Nesterov Momentum : solution에 가까워 질 수록 gradient를 slow down시킴

 · ADAM

 - Adaptive Moment Estimation 을 지칭

 - 이전 step에서의 평균뿐 아니라 분산까지 고려한 복잡한 지수 감쇠(exponential decay)를 사용

 · RMSProp

 - RMS : Root Mean Squeared Error

 - 말그대로 지수 감쇠 squared gradients의 평균으로 나눔으로써 learning rate를 감소시킴