Training Optimization - deep neural network를 구현하는 방법과, 우리의 데이터에 가장 fit하게 들어맞게 학습하는 방법에 대해 알아본다. - 여러 조건에 의해 예를들면, 데이터의 분포가 too noisy한다던지, 나쁜 모델을 선택했다던지 등의 변수에 의해 - 최초에 의도한대로 설계한 네트워크가 한번에 구현되는것은 매우 어려운 일이다. - 따라서 최적의 모델을 찾아가는 과정에 대해 알아보자. Testing - 좌, 우 모델중 우리가 이상적으로 생각하는 모델은 우측이다. - 그러나 이번엔 조금 다른 개념을 도입하여 모델을 분류해보려한다. - 데이터를 Training point와 Testing point로 나눠서 모델을 평가하려한다. - Training set을 바탕으로 모델..
Implementing backpropagation - 위는 output layer의 error term을 구하는 방법이다. - 또한 위는 hidden layer의 error term을 구하는 방법이다. - 지금부터 하나의 hidden layer와 하나의 output unit을 가진 네트워크에 대해 예를 들어보자. backpropagation을 통한 weight들을 업데이트하는 알고리즘 · 각 layer에 대한 weight step들을 0으로 설정 - input → hidden weights = 0 - hidden → output weights = 0 · 각 training data들에 대해 - 네트워크를 통해 순서대로 yHat을 구함 - 그리고나서, output unit에서 error gradient를..