Neural Network Architecture - 앞서 배운 내용을 토대로 Neural Networks(또는 Multi-layer Perceptrons)를 구현해보도록 하자. - 먼저 두가지의 퍼셉트론을 어떻게 결합하는지에 대해 알아보도록 하자. Combining Regions - 비선형 모델을 그리기위해서는 간단하다. 약간의 트릭임 - 이와같이 두개의 선을 사용한 경계가 커브로 역할을 하는것과 같다. - 우리가 알다시피 선형 모델(일차방정식)은 전체 확률 공간이다. - 즉, 모든 점에 있어서 그 점이 파랑(또는 빨강)일 확률을 리턴할 수 있다는 것. - 동일한 한 점에 대해 파랑일 확률을 첫번째 선형모델로는 0.7이라는 확률을, 두번째 선형모델로는 0.8을 얻었다 가정하면 - 우리는 이 두개의 점을..
Non-linear Data - 현실에는 비선형 데이터들이 더 많다. - 즉, 직선으로 양분할 수 없는 수치를 가진 데이터들이 더 많이 존재한다는 의미. - 이런 곡선을 나타내어 분류함에 있어 딥러닝이 무한한 가능성을 지니고 있다 할 수 있음. Non-linear Models - 위와같은 데이터들을 분류하기에 직선으로만 영역을 이분하는것은 오류를 범할 가능성이 크다. - 따라서 우리는 곡선을 표현하는방법을 알아보게 될 것인데 - 여전히 Gradient Descent 알고리즘을 이용하여 영역을 나눠볼 것임 - 위와같이 영역을 나눠서 빨강일 가능성이 더 높은 영역과 파랑일 가능성이 더 높은 영역으로 - 곡선으로 경계를 나누는 방법에 대해 알아보도록 하자.
Perceptron vs Gradient Descent 공통점 - 잘못 분류된(misclassified) 점의 경우 경계에게 더 가까이 와야한다는 신호를 보냄(추상적으로 말해서) 차이점 · Perceptron Algorithm - 잘못 분류된(misclassified) x의 weight에 대해서만 변경 - y(label) = 1 또는 0 그리고 yHat(prediction) = 1 또는 0 - 따라서 옳게 분류된 경우 y - yHat = 0 - 옳게 분류된 경우 해당 점에대해 아무것도 수행하지 않음 · Gradient Descent Algorithm - 모든 weights를 바꾼다 (Wi += learningRate * (y - yHat) * Xi) - yHat의 값이 0부터 1사이의 값. - 옳게 분류..