2. Neural Networks / L1. Introduction to Neural Networks - Lab : Gradient Descent

Implementing Gradient Descent

 - Gradient descent 알고리즘을 직접 구현해보도록하자.

 - 여기 에서 repo를 클론해서 notebook상에서 gradient-descent 폴더 내의 GradientDescent.ipynb 오픈

Instructions

 - sigmoid : sigmoid 함수를 구현

 - output_formula : prediction 값을 리턴하는 함수 구현

 - error_formula : 해당 점에서의 error 값을 리턴하는 함수 구현

 - update_weights : 매 gradient descent step별 새롭게 weights를 갱신하는 함수를 구현

 - 위 함수들을 구현하고 train 함수를 실행하면 연속적인 gradient descent steps를 그린 그래프가 나타남

 - error function 또한 그려내는데, epoch가 증가함에 따라 에러가 감소하는것을 확인 할 수 있다.

Lab : Gradient Descent

 - 구현은 위와같이 하였으나, 결과는 올바르게 나오는것 같지만 최적의 코드인지는 모르겠음

 

GradientDescent.ipynb