Implementing Gradient Descent - Gradient descent 알고리즘을 직접 구현해보도록하자. - 여기 에서 repo를 클론해서 notebook상에서 gradient-descent 폴더 내의 GradientDescent.ipynb 오픈 Instructions - sigmoid : sigmoid 함수를 구현 - output_formula : prediction 값을 리턴하는 함수 구현 - error_formula : 해당 점에서의 error 값을 리턴하는 함수 구현 - update_weights : 매 gradient descent step별 새롭게 weights를 갱신하는 함수를 구현 - 위 함수들을 구현하고 train 함수를 실행하면 연속적인 gradient descent s..
Gradient Descent Algorithm - pseudo code를 작성해보도록 하자. - 랜덤한 weights에서 시작하여(W1, ..., Wn, b) 전체 확률 함수가 sig(Wx + b)로 주어진다. - 그리고 모든 점의 error를 계산하고, 앞서 해온것과 동일하게 - 점이 제대로 분류가 되어있으면 error 값은 작고, 점이 잘못 분류(misclassified)되어있으면 error 값은 크다. - 그 다음 좌표상의 모든 점(X1, ..., Xn)에 대해 learning rate를 고려하여 Weights를 업데이트 - Weights를 업데이트한다는말은 즉, W'과 b'을 구한다는 얘기이고 - 이는 이와같이 구할 수 있다. - 근데 우리는 이미 우측의 편미분값에 대해 앞서 yHat과 y의 관..