2. Neural Networks / L1. Introduction to Neural Networks - Discrete vs Continuous

Discrete vs Continuous Predictions

 - 이산과 연속 에러 함수에서, 연속이 에러처리를 함에 있어서 더 나은점을 확인했고

 - 그러므로 우리는 discrete → continuous prediction이 가능하도록 진행해보자.

 

Prediction

 - 알고리즘을 통해 리턴되는 값.

 - discrete answer : Yes or No / continuous answer : 63.8%과 같은 number

 - discrete의 경우 0 또는 1, yes or no로 리턴되는 반면, continuous의 경우 확률의 개념으로 리턴된다.

 - continuous에서의 확률을 보자면, 경계선에 가까울수록 50%, positive-area쪽으로 멀어질수록 100%, negative-area쪽은 0%와 같다.

 - discrete의 step function은 continuous로 바뀌면서 sigmoid function으로 대체되는데 그 공식은 위와같다.

 - sigmoid function은 large positive-numbers 일수록 1에, large negative-numbers 일수록 0에 가까워진다.

 - 그리고 y축에 가까워질 수록 0.5에 가까워진다.

 - 이렇게되면 전체 확률공간으로 구성이되어, 한 점의 label에 대해 0일수록 빨간점, 1일수록 파란점과같이 분류가 가능해지고

 - 또한 파랑에 가까운 확률과 빨강에 가까운 확률을 둘다 가질 수 있게된다.

 - 이렇게 확률을 나누는 방법은 간단하다.

 - 일차방정식(linear function) WX + b를 sigmoid function과 혼합하여 사용하면 된다.

 - 우측 sigmoid function 값의 경우 1에 가까울수록 파랑을 나타낸다.

 - 여기서 주목할점은, Step function의 Wx+b = 0을 가르키는 중심점이 Sigmoid function으로 이동하며 0.5로 값이 변한다는것이다.

 - 이전 퍼셉트론의 경우 input에 weights을 Step function연산을 거쳐 1 또는 0이라는 prediction을 얻었다면

 - 새롭게 만들 퍼셉트론의 경우 input과 weights을 sigmoid function을 거쳐 확률을 얻어낸다.

 - 이전에 학생이 합격인지 불합격인지 1 또는 0의 값으로 리턴되었다면, 

 - sigmoid function을 거치게되면 학생이 받아들여질 확률을 리턴해준다.