2. Neural Networks / L1. Introduction to Neural Networks - Maximum Likelihood, Maximizing Probabilities

Maximum Likelihood

 - 확률은 딥러닝에 있어 매우 중요한 도구 중 하나이다. 

 - 확률을 어떻게 우리의 모델에 적용시켜 사용할 수 있는지 알아보자.

 - 여러 모델 들이 있다 가정하고, 하나의 사건이 있을때 그 사건에 대해 모델들이 확률을 리턴한다 가정해보자.

 - 이 경우 일어난 사건에 대해 더 높은 확률을 부여하는 모델이 가장 유용한 모델이 된다.

 - 이러한 방법을 Maximum-Likelihood 라고 한다.

 - 존재하는 label들에 대해 가장 높은 확률을 부여하는 모델을 선택하는것이 우리가 해 나갈 일이다.

 - 그러므로 확률을 극대화 함으로써 우리는 가장 유용한 모델(best model)을 고를 수 있다.

 - 위의 두개의 모델중 왼쪽의 모델은 2개의 옳게분류된 점과 2개의 잘못 분류된점으로 나누고 있고,

 - 오른쪽 모델은 정확하게 모두 옳게 분류하여 나눴다. 그러므로 오른쪽 모델이 더 올바른 모델이라 바로 알 수 있다.

 - 이것을 확률적 측면에서 한번 생각해보면, 오른쪽의 모델이 왼쪽보다 훨씬 더 일어날 가능성이 높음을 알 수 있다.

 - stigma function을 통해 확률을 얻어내면, 기존에 파랑일 확률을 얻어냈었다.

 - 파랑에 가까울 수록 더 1에 가까운 확률을 얻어내므로 위와같이 얻어낼 수 있고, 

 - 파랑일 확률과 빨강일 확률은 합이 1이 되어야하므로, 곧장 빨강일 확률도 각 점마다 구해낼 수 있다.

 - 이제 진행할 것은, 4개의 점의 실제 색의 확률을 계산하려한다.

 - 즉, 두개의 빨간 점은 빨강에 해당하는 확률을, 나머지 두개의 파란 점은 파랑에 해당하는 확률을 구해낸다.

 - 이제 각 점들이 독립적이라 가정하면(독립 사건의 경우), 전체 arrangement는 네 점의 확률을 모두 곱한것과 같다.

 - 그 결과 0.0084가 나오게 되고, 이 의미는 만약 이 모델이 확률공간에 주어진다면

 - 점들이 위와같은 색으로 나열될 확률이 0.0084라는 의미이다.

 - 이 개념을 동일하게 우측 모델에 적용시켜본다면, 0.3024라는 확률을 얻게되고

 - 이는 잘못된 모델(왼쪽) 보다 훨씬 높은 확률을 나타낸다는 것을 확인 할 수 있다.

 - 그러므로, 오른쪽 모델이 더 낫다고 판단할 수 있는 이유는 

 - 나열된 점들이 실제로 그 색을 가질 가능성이 더 크게 만들기 때문이다.

 - 이제 이 Maximum-Likelihood를 적용해보자면, bad-model에서부터 확률을 얻어낸 다음

 - good-model의 확률까지 경계를 바꿔가며 계속 확률을 구하다, 그 확률에 도달하게 되면 그 때가

 - 우리가 의도한 그리고 올바른 경계선을 갖게된다.

 - 즉, Maximum-Likelihood에 있어서 가장 유용한 모델은 

 - 대부분의 점들을 정확하게 분류해내고, 전체 확률 P(all)은 얼만큼 그 모델이 정확한지를 나타내준다.

Maximizing Probabilities

 - 이 확률(total arrangement)을 극대화하는 방법에 대해 알아보자.

 - 각 모델별로 total arrangement를 구하는거는 그닥 쉬운문제가 아니다.

 - 위의 예시에선 고작 4가지의 확률만 곱하면 나왔지만, 만약 곱해야 할 확률들이 1000개 이상이라면?

 - 따라서 곱(product)을 하는것보다 합(sum)으로 계산하는것이 훨씬 수월하다.

 - 따라서 곱을 합으로 바꿔주는 함수? 로그함수이다