5. CNN 성능은 어떻게 평가하게 되나요?

안녕하세요~

지금까지 Convolution Neural Network (CNN)의 기본구조와 CNN이 DNN에 비해 왜 이미지 영역에서 뛰어난 성과를 갖게 되었는지 알게되었어요.

이제부터는 여러 CNN 모델들을 설명하기 이전에 앞서 CNN 모델의 종류와 CNN 모델의 성능을 평가하는 기준과 방법에 대해서 설명해 보도록 할거에요.

1) ILSVRC (Imagenet Large Scale Visual Recognition Competition)

2017년까지 보편적으로 image classification competition은 ILSVRC에서 이루어졌어요. 보통 ImageNet 사이트에서 방대한 양의 image dataset을 classification 목적으로 무료제공해주는데요. 여기서 training dataset, validation dataset, test dataset을 통해  CNN 모델의 성능을 평가하게되요. 예를들어, 어떤 모델을 만들면 1000개의 categories를 분류하게 되고 이를 통해 성능평가를 하게되요. 

<사진1>

아래 '사진2'는 AlexNet 논문에서 AlexNet에 대한 성능지표를 나타내요. 당시에는 AlexNet이 CNN모델의 시초격이 었기 때문에 AlexNet=CNN으로 표기했었나봐요. 어쨌든, 아래보면 val이라고 되어 있는 부분은 학습도중 validation dataset을 통해 성능을 평가한 결과를 보여준 것이고, test라고 되어 있는 부분은 학습을 마친 CNN 모델을 test dataset으로 성능평가한 결과를 보여주고 있는거에요 (자세한 설명은 여기링크를 참고해주세요).

그런데, Top-1, Top-5라는건 무엇을 의미할까요? 

예를들어, CNN 모델이 강아지 이미지를 입력받았다고 할게요. 그리고 1000개의 종류에 대해 [강아지=0.6, 고양이=0.2, 사슴=0.1, ....................,  뱀=0]와 같이 내림차순으로 결과를 도출했다고 했을 때, 이때 top-1은 강이지가 됩니다. 그렇다면 이러한 결과에서 top-3는 강아지, 고양이, 사슴이 되겠죠? 즉, Top-3에서 16.4%라는 말은 우리가 classification test를 했을 때 우리가 예측한 3개의 범위안에 classification이 제대로 됐을 확률이 83.4% (되지 않았을 확률이 16.4%) 라는 말이에요. 

쉽게 말해서 대충 CNN모델이 입력 이미지에 대해서 3가지 종류중에 하나라고 말했는데 거기서 틀릴 확률이 top-3에서 표현되는 퍼센트(%), 그냥 단답으로 하나의 종류만 말했는데 거기서 틀릴 확률이 top-1에서 표현되는 퍼센트(%)라고 보시면 됩니다.

하지만, 2012년부터 딥러닝 모델 중 하나인 CNN 모델이 모든 상을 휩쓸게 되었고, 2017년에는 classification error 비율이 인간의 수준을 뛰어 넘었기 때문에 사실상 대회가 종료되었어요.

그래서 요즘에는 Kaggle이라는 사이트에서 CNN 모델을 평가하는 대회를 이어가고 있답니다.

2) CNN model history

현재 CNN모델은 수없이 많이 나오고 있지만, 그래도 CNN 모델의 history를 공부할때 대표적으로 언급되는 모델은 아래사진과 같아요.

보시면 ILSVRC (20)12년도에 처음 AlexNet이라는 모델이 처음 CNN을 대표해서 나왔는데요. 해를 거듭할수록 CNN 신경망의 layer가 깊어지면서 error rate도 낮아지는것이 보이시나요? 사실 최근에는 굉장히 기술적으로 업그레이된 버전들이 많이 나와서 error rate이 현실에 적용했을 때 무시해도 되는 수준까지 갔다고 합니다.

<사진2>

지금까지 CNN 모델을 어떻게 평가했는지 그리고 어떻게 CNN이 발전했는지 간단하게 살펴보았어요.

다음글부터는 앞서 설명한 CNN의 기본 뼈대를 기반으로 어떠한 방향을 갖고 CNN 모델이 진화해갔는지에 대해서 설명해보려고해요. 그래서 다음글에서는 CNN 모델의 시초격인 AlexNet을 설명하도록 하려고 합니다~! 

[사진 래퍼런스]

사진1

http://hpkim0512.blogspot.com/2017/12/sdf.html

사진2

https://medium.com/analytics-vidhya/cnns-architectures-lenet-alexnet-vgg-googlenet-resnet-and-more-666091488df5