2. Neural Networks / L1. Introduction to Neural Networks - Perceptron vs Gradient Descent, Continuous Perceptrons

Perceptron vs Gradient Descent

공통점

 - 잘못 분류된(misclassified) 점의 경우 경계에게 더 가까이 와야한다는 신호를 보냄(추상적으로 말해서)

차이점

 · Perceptron Algorithm

 - 잘못 분류된(misclassified) x의 weight에 대해서만 변경 

 - y(label) = 1 또는 0 그리고 yHat(prediction) = 1 또는 0

 - 따라서 옳게 분류된 경우 y - yHat = 0

 - 옳게 분류된 경우 해당 점에대해 아무것도 수행하지 않음

 · Gradient Descent Algorithm

 - 모든 weights를 바꾼다 (Wi += learningRate * (y - yHat) * Xi)

 - yHat의 값이 0부터 1사이의 값.

 - 옳게 분류되어도 weights를 바꾼다 즉, 옳게 분류되었으면 경계에게 더 멀리 떨어지라는 신호를 보냄

Continuous Perceptrons

 - 퍼셉트론의 개념을 다시 recap해보자.

 - 해당 경계를 기준( =0)으로 

 - 아래에 있으면( < 0 ) 빨간점이 찍힐 가능성이 더 높은 지역

 - 위에 있으면( > 0 ) 파란점이 찍힐 가능성이 더 높은 지역

 - 따라서 퍼셉트론은 x1과 x2라는 input에 대해 이 점이 파란점(또는 빨간점)일 확률을 리턴한다.

- 그리고 이는 뉴런의 기능을 꽤나 흉내내고 있는것이다. 

 - 실제로 우리의 뇌는 자극(input)에 대한 반응(output)을 담당하는 뉴런으로 구성되어있기 때문.