Multi-Class Classification and Softmax - 지금까지 우리는 yes or no의 리턴값 또는 파랑과 빨강 중 더 가까운 방향에 대한 확률로 리턴하는경우를 다뤄봤는데, - 만약 우리가 리턴해서 얻고자 하는 값이 R, G, B와 같은 컬러값 또는 강아지, 고양이, 새 와 같은 대상이라면?? The Softmax Function - 우리가 본것이 어떤 동물인지에 대한 모델을 구현해본다 가정하자. - 오리, 비버, 왈루스 중 위에 할당된 확률에 따라 판단하는 모델을 구현하고, 전체 확률을 합한 값은 당연하게 1이 된다. - input으로는 부리가 달렸는지, 이빨의 개수, 털의 종류 등등이 되겠다. - Score로 오리는 2, 비버는 1, 왈루스는 0을 할당해주고 그 다음 설정해 줘야..
Discrete vs Continuous Predictions - 이산과 연속 에러 함수에서, 연속이 에러처리를 함에 있어서 더 나은점을 확인했고 - 그러므로 우리는 discrete → continuous prediction이 가능하도록 진행해보자. Prediction - 알고리즘을 통해 리턴되는 값. - discrete answer : Yes or No / continuous answer : 63.8%과 같은 number - discrete의 경우 0 또는 1, yes or no로 리턴되는 반면, continuous의 경우 확률의 개념으로 리턴된다. - continuous에서의 확률을 보자면, 경계선에 가까울수록 50%, positive-area쪽으로 멀어질수록 100%, negative-area쪽은 ..
Non-Linear Regions - 만약 한 학생이 있는데, 기존에 설정해 둔 경계선에 의하면 Test : 9/10, Grades : 1/10으로 입학이 가능한데 - Grade가 너무 낮아 입학을 시키고싶지 않다면???? - 그럼 기존의 일차방정식형 경계선이 역할을 하지 못한다. - 이번엔 비선형 지역에 대한 Positive-area, Negative-area를 판단해보도록 하자. Error Functions - 이러한 비선형 영역의 판단을 위해 우리는 error function의 도움을 받아 처리할 것인데, - error function은 우리가 solution까지 얼마만큼 멀리 떨어져있는지를 말해준다. - 예를들어, 1미터 전방에 차량이 있고, 나는 거기까지 도달해야한다고 한다면 - 1미터라는 거리..
Perceptron Algorithm - Perceptron Trick에 대해 이미 배웠으므로 퍼셉트론 알고리즘을 구현할 준비가 다 되었다. - 임의의 경계선을 그었을때 점 4개는 good, 점 2개는 come closer의 상황에 놓이게 된다. - 우측에 놓인 mis-point에 맞춰 경계선을 수정하였다. - 이번엔 좌측만이 mis-point로 남게 된다. - 마찬가지로 좌측에 놓인 mis-point에 맞춰 perceptron-trick에 의거, 경계선을 수정해주면 - 모든 점들이 correct한 상태로 놓이게 된다. - 이 알고리즘의 pseudo code를 작성해보자면, - 가장먼저 랜덤한 weights를 가진 경계선으로 시작한다. (Wx + b) - 그다음 잘못 분류된 점들에 대해 좌표값을 얻어두고..
Perceptrons Trick - 근데 사실상 이런 퍼셉트론을 우리가 직접 구현해내기는 어렵다. - 따라서 고안된 아이디어가 바로 우리는 result에 대한 값을 제공해주고, 그들 스스로가 구현해 내는것이다. - 자 다시 전의 예제로 돌아가보면, 그럼 컴퓨터 스스로가 그 기준을 잡는다고 한다면, - 어떻게 그 기준선(Positive 와 Negative area를 나누는 경계)을 설정할지??? - 먼저 이와같이 임의의 경계선을 설정해보고, 이 경계가 어느정도 일치된 값을 도출해내는지를 판단한다. - 일치하는 값이 아닌 일치하지 않는 두 값을 기준으로 기준선에게 - 해당 일치하지 않는 점 방향으로 더 가까이 오라고 알려준다. - 더 가까이 오라고 기준선(경계선)에게 말을하여 범위를 점차 좁혀간다. - Pe..
Perceptrons as Logical Operators - 논리연산자로서의 퍼셉트론에 대해 알아본다. - AND, OR, NOT, XOR Perceptron을 구현해보자. · AND Perceptron - 기본적인 AND연산을 Perceptron으로 구현하려면? - INPUT에 대한 TRUE 또는 FALSE 값을 1과 0으로 표현하고, 이전과 동일하게 - 기준선을 정의한다(weights와 bias를 반영하여). - 그 이후 positive area와 negative area로 구분지어 퍼셉트론이 해당 input들을 그리게하고 - Positive area의 경우 1을, Negative area의 경우 0을 리턴하게 한다. · OR Perceptron - OR 연산 또한 마찬가지다. 위와 동일한 알고리즘..