티스토리 뷰
3. Convolutional Networks / L2. Convolutional Neural Networks - Groundbreaking CNN Architectures
chrisysl 2018. 9. 17. 18:05Groundbreaking CNN Architectures
- ImageNet은 1000개의 각기 다른 카테고리 안에 총 천만개가 넘는 그림을 가지고 있는 데이터셋이다.
- 2010년부터 ImageNet은 "ImageNet Large Scale Visual Recognition Competition" 이라는 프로젝트를 진행하는데,
- object recognition과 classification에 있어 가장 최상의 CNN모델을 찾는 컴피티션이다.
- 첫번째로 선정된 모델은 2012년 토론토대학의 팀에의해 개발된 AlexNet 이라는 모델이다.
- AlexNet 팀은 그 당시 최고성능의 GPU를 사용하여 일주일간 네트워크를 학습시켰고,
- ReLU activation function과 dropout을 overfitting을 회피하기 위한 수단으로 최초로 사용하였다.
- 2014년엔 옥스퍼드 대학의 VGG Net이라는 네트워크가 등장했는데,
- VGG 16과 VGG 19라는 모델을 선보였고 뒤에 붙는 숫자는 전체 레이어 숫자에 해당한다.
- VGG 모델은 단순하게 일렬로 콘볼루션 레이어와 pooling 레이어 그리고 fully connected layer로 구성된
- 비교적 단순한 모델을 선보였다.
- VGG는 최초로 3x3 크기의 비교적 작은 convolution window를 사용하였다.
- 2015년의 수상모델은 마이크로소프트 사의 ResNet 모델이다.
- ResNet 모델은 VGG모델과 유사한데, 일렬로 모델들이 계속해서 중첩되며 나타나는 구조이다.
- ResNet 모델은 위의 VGG모델과 마찬가지로 다양한 버전의 아키텍쳐를 선보였는데,
- 가장 많은수의 레이어를 사용한 모델은 152개까지나 된다.
- 다른 과학자들도 많은 수의 레이어를 사용하고자 시도했으나, 모델의 퍼포먼스가 일정구간까지는 증가하다가
- 그 이후로 급감하는 현상을 겪었다.
- 이 급감의 원인으로는 backpropagation을 통해 가중치를 업데이트 할 때 발생하는 vanishing gradient problem을 들 수 있다.
- 그라디언트의 시그널을 전체 네트워크에 걸쳐 반영해야 한다는 시사점을 남겼다.
- 네트워크가 더 깊은 구조를 갖을수록 그라디언트의 시그널이 점점 더 약하게 반영된다는 것이다.
- 즉, 반영되어야 할 곳에 적절하게 도달하기 전에 그라디언트 시그널이 점차 약해진다는 뜻.
- ResNet 팀은 그라디언트 시그널이 더 짧은 경로로 이동하여 적절하게 그 시그널을 반영 할 수 있도록
- 매우 깊은 층의 레이어에 도달할 수 있는 연결고리를 제공하여 일부 레이어를 건너 뛰도록 설계하였다.
- ResNet은 그 결과 엄청난 이미지 분류 퍼포먼스를 가진 네트워크를 설계하였다.
- Keras를 사용하면 ResNet 50을 포함한 다른 아키텍쳐들을 끌어쓰기 매우 편리하다.
- Keras를 사용하여 끌어 쓸 수 있는 아키텍쳐 목록 및 설명