Time Traveler

안녕하세요

지난글에 이어 이번에도 의료 인공지능에서 사용하는 대표적인 지표들에 대해 소개하려고 합니다.

(↓↓↓지난 글 확인↓↓↓)

https://89douner.tistory.com/253

이전 글에서 설명했던 예시를 기반으로 글을 작성하도록 하겠습니다. 예시를 요약하면 아래와 같습니다.

• COVID-19를 분류하는 딥러닝 모델
• Positive class: COVID-19
• Negative classes: Pneumonia, Normal

※ 이전에 작성해둔 PPT로 설명하는게 좋다고 판단하여, 해당 PPT 슬라이드를 이미지로 올렸습니다.

1. Specificity = Selectivity = TNR(True Negative Rate))

Specificity 지표가 낮다는건 TN에 비해 FP 비율이 높다는 것을 의미합니다.

FP가 높다는 건 실제 음성환자를 양성이라고 오진하는 경우가 많다는 것인데,

이러한 비율이 높다면 환자가 불필요한 비용을 지불한 사례가 많았다고 볼 수 있습니다.

이러한 문제가 생긴다면 의료소송이 많아질 수 도 있겠네요.

만약 아래 논문에서 나온 specificity 값이 좋은 수치라고 가정해보겠습니다. 

그렇다면 이 논문에서 제시한 딥러닝 모델을 하용해야 할까요?

결과부터 말씀드리면, 아직까진 섣불리 사용하긴 어렵습니다.

왜 일까요? 

예를 들어 보겠습니다.

• 암을 진단하는 병원의 기계가 너무 구식이면 최신 기계에 비해 다양한 암을 발견해내기 힘듭니다.
• A라는 병원이 정말 오래된 구식 기계를 사용한다고 가정해 보겠습니다.
• 해당 병원의 경우 진료를 받으로 온 사람 대부분을 음성이라고 판단할 것 입니다.
• 즉, 음성(=Negative)이라고 판단 할 확률이 높기 때문에 FP는 줄어들게 되겠죠. 
• 극단적인 예를 들어, 구식 기계가 모두 음성이라고 판정 했다고 한다면 FP은 0이 됩니다. 왜냐하면, 양성(Positive)으로 진단한 case가 없기 때문이죠. 

2. Sensitivity = Recall = TPR(True Positive Rate))

감염관련 질병을 다룰 때는 sensitivity가 굉장히 중요한 지표가 될 수 있습니다.

현재 COVID-19을 진단하는 RT-PCR 진단방식을 기준으로 왜 sensitivity가 중요한 지표가 되는지 설명해보도록 하겠습니다.

1. RT-PCR의 문제점을 지적하는 부분중 하나는 낮은 sensitivity 성능 지표입니다.
2. Sensitivity(=TP/(TP+FN))가 낮다는 것은 FN(False Negative)가 높다는 것을 의미합니다.
3. False Negative가 의미하는 바는 실제 COVID-19 환자에게 음성이라고 (=COVID-19이 아니라고) 진단한 케이스인데, 감염학에 있어서 FN이 높다는 것은 굉장한 문제가 됩니다.
4. 왜냐하면, 실제 COVID-19 환자가 안심하고 여러 사람을 접촉하면서 바이러스를 전파시킬 확률이 매우 높기 때문이죠. 
5. RT-PCR에서 대상을 FN으로 판별하는 경우는 아래와 같습니다.
   • 이전에 음성으로 반단했지만 반복검사 끝에 양성으로 바뀐 경우

만약 아래 논문에서 나온 specificity 값이 준수하다고 해보겠습니다. 

그렇다면 sensitivity 지표를 준수하게 기록한 딥러닝 모델을 사용하면 될까요?

결과부터 말씀드리면, 이 모델 역시 섣불리 사용하긴 어렵습니다.

왜 일까요? 

예를 들어 보겠습니다.

• 암환자를 진단할 때, 성급하거나 겁이 많은 의사는 아주 조금의 징후만 보여도 암인 것 같다고 할 것 입니다.
• 즉, 양성이라고 판단 할 확률이 높기 때문에 FN은 줄어들게 되겠죠. 
• 극단적인 예를 들어, 성급한 의사가 모두 양성이라고 판정 했다고 한다면 FN은 0이 됩니다. 왜냐하면, 음성(Negative)으로 진단한 case가 없기 때문이죠. 

• 이런 경우, TPR은 1에 가까워지지만 FNR은 반대로 매우 낮아집니다.
• 음성인 사람도 다 암이라고 하니까 음성으로 진단한 case가 없어지기 때문이죠.

3. Fall-out = FPR(False Positive Rate)

FPR 지표 역시 예를 들어 설명해 보겠습니다.

• 암환자를 진단할 때, 성급하거나 겁이 많은 의사는 아주 조금의 징후만 보여도 암인 것 같다고 할 것 입니다.
• 즉, 양성이라고 판단 할 확률이 높기 때문에 TN은 줄어들게 되겠죠. 
• 극단적인 예를 들어, 성급한 의사가 모두 양성이라고 판정 했다고 한다면 TN은 0이 됩니다. 왜냐하면, 음성(Negative)으로 진단한 case가 없기 때문이죠. 

만약 FPR, TPR의 수치가 동시에 높을 경우 우리는 아래와 같은 예측을 해볼 수 있습니다.

"FPR과 TPR 수치가 높을 경우 분류모델(or 의사)이 모든 대상을 양성으로 판단했을 가능성도 있었겠구나"

그렇다면, FPR과 TPR이 차이에는 무엇이 있을까요?

• FPR: 실제 음성인 대상자들 중에 양성이라고 오진할 확률
• TPR: 실제 양성인 대상자들을 (양성이라고) 정확히 진단할 확률

(↓↓↓참고 사이트↓↓↓)

https://newsight.tistory.com/53

4. ROC Curve and AUC

어떤 분류모델을 적용했을 때, FPR, TPR이라는 지표가 아무리 좋게 나왔다고 하더라도, 해당 분류모델을 좋다고 말할 수 없다고 한다면 왜 FPR, TPR을 배울까요?

결론부터 말씀드리면, FPR, TPR 각각의 지표를 통해 얻을 수 있는 정보보다, FPR, TPR 지표간의 관계를 파악함으로써 얻을 수 있는 정보가 굉장히 유의미하기 때문입니다.

예를 통해 알아보도록 하죠. (아래 예는 binary classification을 기준으로 설명하고 있는데, multi-classificaiton 관점에서 보시면 "정상=음성(관심없는 질병+정상)"으로 간주하고 이해하시면 될 것 같습니다)

• 실험을 통해서 실제 정상인 사람들의 기준치와 암인 사람들의 기준치를 조사해보니 아래그림과 같은 분포를 얻었다고 가정하겠습니다 (즉, 정상인 사람들은 기준치 -1을 평균으로 표준편차가 있었고, 암인 환자들은 기준치 1을 평균으로 표준편차가 있었다고 가정하겠습니다).
• X축은 기준치를 뜻합니다. 즉, X축을 기준으로 특정 값 이하는 음성(-), 특정 값 이상은 양성(+)으로 판정하게 되는데, 아래 같은 경우는 기준치 값을 0으로 설정했습니다.

• 위의 분포에서 TP, FP, TN, FN을 표현하면 아래그림과 같습니다.

• False positive 부분을 설명하자면 다음과 같습니다.
  • 실제 healthy 한 사람들이 있다고 가정해봅시다.
  • 대부분의 healthy 한 사람들은 질병인지 아닌지 측정했을 때 대부분 해당 집단의 평균 값을 갖게 됩니다 (by 중심극한 정리).
  • 하지만, healthy(=음성)한 사람 중에서도 소수는 그날 컨디션이 좋지 않아 질병 진단시 기준치 이상으로 나와 양성으로 판정되는 경우가 있을 수 있습니다. 
  • 보통 False에 해당하는 면적(false negative, false positive)가 적다면 해당 분류모델은 성능이 뛰어나다고 할 수 있겠죠.

• 그런데 저 기준치가 되는 값을 변경해주면 어떻게 될까요? (아래의 그림의 경우 't')

• 어떤 의사가 “그냥 기준치(X축; threshold)를 -5로 설정하고, 그 이상이면 전부 암환자라고 분류하세요”라고 해버린다면 positive 케이스가 많아지기 때문에 TPR, FPR 모두 높게 나옵니다.

• 반대로, 어떤 의사가 “그냥 기준치(X축; threshold)를 5라고 설정하고, 그 이상이면 전부 암환자라고 분류하세요”라고 해버린다면 negative 케이스가 많아지기 때문에 TPR, FPR 모두 낮게 나옵니다.

• 즉, TPR과 FPR이 기준치 값에 따라 비례적인 관계를 갖는다는 점을 알 수 있습니다.

결국 비례적인 관계를 갖는 TPR과 FPR을 기반으로, 그래프를 그릴 수 있게됩니다.

그리고, 이러한 그래프를 통해 의미있는 분석을 할 수 있게 되죠.

이 때 그려지는 그래프가 ROC 커브입니다. 

[ROC Curve]

기준치 값을 어떻게 설정하느냐에 따라서 아래와 같이 ROC Curve가 형성되게 됩니다.

아래의 그림을 보면 그래프가 비선형성을 더 강하게 띌 수록 분류기 성능이 더 좋다고 볼 수 있겠죠?

보통은 비선형성의 강도라고 표현하기 보다 해당 그래프 아래의 면적이 더 커지는 경우 분류기 성능이 더 좋다고 이야기 하는데, 해당 면적을 Area Under Curve (AUC) 라고 부르고 있습니다. 

[ROC Curve]

• x, y 축 범위는 항상: [0,1]
• ROC curve 아래 면적: AUC (Area Under Curve; AUROC)
• AUC(면적)가 큰 게 더 좋은 성능을 나타냄
• AUC 면적이 1에 가까울 수록 좋은 성능
  • 면적이 1에 가까운 ROC curve를 보일 수록 양성, 음성을 분류하는 모델이 더 성능이 좋다는 것을 알 수 있다. 

또한, 결국 기준치 값(=threshold; 아래 그림의 ③)이 높을 수록 TPR, FPR이 모두 낮게 나오고, threshold가 낮을 수록 TPR, FPR이 높게 나오는걸 알 수 있습니다.

요약해서 말하자면, ROC커브는 TPR과 FPR관계를 그래프로 표현하여, 어떤 지점을 기준으로 잡을 지 결정하기 쉽게 시각화 한 것이라고 볼 수 있습니다. 

그럼 이제 아래와 같이 논문에서 제시되는 성능지표를 파악하고 분석할 수 있으시겠죠?

(↓↓↓ROC Curve에 대한 내용 참고 사이트↓↓↓)

https://angeloyeo.github.io/2020/08/05/ROC.html

(↓↓↓ROC Curve에 대한 내용 참고 사이트↓↓↓)

https://www.youtube.com/watch?v=nMAtFhamoRY 

(↓↓↓ROC Curve 추천 영상↓↓↓)

https://www.youtube.com/watch?v=4jRBRDbJemM 

5. PPV (Positive Predictive Value)

마지막으로 PPV라는 지표를 알아보고 마무리 하도록 하겠습니다.

PPV는 Precision, 정밀도라는 용어와 동의어로 사용됩니다.

아래 식을 보시면 "분류모델이 양성 환자라고 판별한 대상들 중에서 실제 양성환자를 선별할 확률"을 의미합니다.

양성판별 관점에서는 PPV 하나 만으로도 유용한 지표가 될 수 있기 때문에, 다양한 곳에서 아래 지표를 사용합니다.

이외 F1 score 같은 개념도 사용이 되는데 이러한 개념들은 이미 다룬바가 있기 때문에 굳이 설명은 하지 않도록 하겠습니다. (혹시 필요하시다면 아래 영상을 참고해주세요!)

https://www.youtube.com/watch?v=8DbC39cvvis 

안녕하세요

이번에는 의료 인공지능에서 사용하는 대표적인 지표들에 대해서 소개하려고 합니다.

사실 머신러닝을 공부하신 분들이나, 의학통계를 공부하신 분들은 다들 알고 있을 개념이지만, 의료 인공지능을 처음 접하시는 분들을 위해 몇몇 지표들을 알기 쉽게 설명 하려고 합니다.

의학논문을 보시거나, 딥러닝을 의료분야에 적용하면 아래와 같은 지표들을 확인하실 수 있으실 겁니다.

 그럼 지금부터 의료 인공지능에서 사용되는 대표적인 성과지표들을 하나씩 차례대로 알아보도록 하겠습니다.

(이 카테고리는 질병을 다루는 의료관련 내용이기 때문에 관련 예시도 질병을 위주로 다루도록 하겠습니다.)

1. Positive, Negative, True, False

1-1. Positive and Negataive = Prediction

“If the condition is a disease, "positive" means "diseased" and "negative" means "healthy“

• 질병 감염 여부를 알기 위해 병원체(=병의 원인이 되는 본체) 검사를 시행했을 때 피검체(=검사를 받는 주체)의 병원체가 기준치보다 높을 때를 ‘양성(positive)’, 기준보다 낮을 때를 ‘음성(negative)’이라고 합니다. 
• 예를들어, COVID19 확인여부를 판별하는 기준이 되는 온도가 37도 라고 했을 때, 37도 이상은 기준치보다 이상("+"="positive")이기 때문에 COVID-19 질병에 걸렸다고 할 수 있으므로 positive(+, 양성)이라고 부릅니다. 반대로, 37도 이하는 기준치보다 아래("-"="negative")이기 때문에, COVID-19 질병에 걸리지 않았다고 할 수 있으므로 negative(-, 음성)라고 정의합니다.

• 여기서 조금 유의해서 봐야할 부분이 있는데, 우리가 어떤 기준치라는 것에 절대적인 신뢰를 갖고 있으면 안된다는 점입니다.
• 예를 들어, A라는 사람의 온도를 측정한 결과 37도 이상이 나와 COVID-19이라고 분류했는데, 실제로 COVID-19 화나자가 아니였을 수 있습니다. 
• 또 다른 예를 들면, 시골에 어떤 기계를 이용해 암이라고 판정했는데, 실제로 큰 병원에서 사람 몸을 해부해보거나 암인지 아닌지를 판정하는 여러 검사를 통해 봤을 때 암이 아닐 수 있습니다.
• 이 때, 생각해 볼 수 있는 부분은 두 가지 입니다. 
  • 기준치가 잘 못 됐다.
  • A라는 사람이 outlier(특이치)이다.  

• 드라마에서 의사가 환자에게 "안타깝지만, 양성 판정이 나왔습니다"라고 말했을 때, 환자가 눈물을 보이는 이유는 해당 의사의 말을 100% 믿었기 때문이죠. 이 의사의 말을 100% 믿었다는건, 의사가 진단을 위해 적용했던 모든 기준치들을 신뢰했다는 말이 됩니다. 하지만, 낙후된 진단 기법을 사용한다거나 사용하고 있는 진단 기법의 성능이 좋지 못하다면 오진을 할 가능성이 있습니다. 
• 이러한 이야기를 하는 이유는 우리가 어떤 대상을 positive라고 판정했다고 하더라도 잘 못 진단을 했을 수 있다는 것을 알려드리기 위해서 입니다.
• 그렇기 때문에, Positive, Negative은 어떤 병의 진위 여부를 결정 짓는 요소가 아니라, 무언가를 “예측(prediction) 또는 분류(classification)”할 때 사용되는 용어로써 인식해야 하는 것이죠.

• 보통 질병이 맞는지 아닌지를 판정하기 때문에, binary classification을 한다고 볼 수 있는데, 좀 더 다양한 classes(병의 중증도 정도; ex: A 클래스=치매초기, B 클래스=치매중기, C 클래스=치매말기)에 대해서는 어떻게 양성, 음성 조건을 정해 줄 수 있을까요?
• 이 경우에는 내가 알아보려고 하는 특정 질병이 condition(조건)이 되며, 해당 condition에 부합하는 질병이라고 판정한 경우에는 (해당 질병 관점에서) positive 라고 하고, 나머지를 모두 negative라고 하게 됩니다.
• 예를 들어, 치매초기에 관심이 있다고 했을 때, 치매초기라고 진단하는 경우에만 양성(positive)이라고 하고, 치매중기, 치매말기라고 진단하는 경우에는 negative(음성)판단을 했다고 볼 수 있는 것이죠.

1-2. True and False = Answer

• 우리가 무언가를 예측했다면 그 예측(positive or negative)이 틀렸다면 False, 맞았다면 True라고 합니다.
• 예를 들어, 양성판정을 받은 사람이 실제로 양성이거나, 음성판정을 받은 사람이 실제로 음성이라면 True라고 합니다.
• 이렇게, true인 경우가 많아지면 예측(prediction) 확률이 높아지기 때문에 예측모델(or 의사)의 신뢰성이 굉장히 높아지겠죠.
• 그런데, 이렇게 true인지 false인지 판별하기 위해서는 정답지(Answer)가 필요합니다.
• 현실에서는 정답지를 아는 사람은 신 뿐입니다.
• 현실에서 정답지를 미리 알고 있었다면 굳이 positive, negative 라는 개념이 만들어질 필요도 없었겠죠. 
• 하지만, true, false를 판단하기 위해서는 여전히 정답지(answer)가 필요합니다. 그렇다면, 이러한 정답지는 어떻게 만들 수 있을까요?

1-3. AI 모델

• 의료 인공지능 분야에서는 의사들이 신의 역할을 대신합니다.
• 즉, 앞서 "1-2"에서 언급한 정답지는 저명한 의사들 논의하여 만들게 되죠. 예를 들어, 의료 이미지 같은 경우, X-ray에 있는 특징들을 보고 여러 영상의학과 의사들이 모여 의논하고 소견을 밝힌 후, 해당 병변을 진단하게 되는데, 의료 인공지능 분야에서는 이러한 진단결과를 정답으로 간주합니다 (물론 이 과정에서 잘 못된 진단을 할 수 도 있겠지만, 저명한 의사들이 라벨링 했기 때문에 정답일거다라는 믿음이 전제가 되어 있는거죠)
• 그렇다면 누군가는 positive, negative를 판단하는 존재가 있어야 하겠죠?
• 의료 인공지능 분야에서는 양성, 음성을 판단하는 다양한 예측 모델들이 이 역할을 하고 있습니다.
• 그래서, 우리가 연구해서 어떤 인공지능 예측 모델을 만들면, 예측을 정말 잘하는지 의사들이 라벨링한 데이터들을 기반으로 판단하게 됩니다. 만약, true인 경우가 많으면 당연히 해당 연구가 가치있는 연구로써 인정 받을 수 있게되겠죠? 

• 딥러닝을 예로 들면 우리가 자동차를 구분해주는 것에 관심이 있다고 했을 때, 앞서 언급한 condition이 자동차가 됩니다. → Positive={CAR}. Negative={TRUCK, …, BICYCLE}
• 위의 그림에서는 딥러닝이 자동차라고 분류했기 때문에 positive 판정을 내렸다고 할 수 있습니다.
• 실제 입력 데이터가 CAR라는 것을 알고 있다고 했을 때, 예측과 실제 값을 비교한 결과 옳게 예측했으므로 이 경우는 true라고 할 수 있습니다. 다시 말해, 판단한 prediction 클래스와 실제 정답에 해당하는 클래스가 일치하면 true라고 하는데, 이러한 case가 많으면 해당 모델을 신뢰하게 되는 것이죠.

2. TP(True Positive), FP(False Positive), TN(True Negative), FN(False Negative), and Confusion matrix

지금까지 의료 인공지능 관점에서 positive, negative, true, false를 살펴봤으니, 이러한 지표들을 조합하면 어떠한 분석들을 할 수 있게되는지 알아보도록 하겠습니다.

내가 관심있는 질병이 COVID-19이라는 가정하에서 설명해보도록 하겠습니다

2-1. TP: True Positive

• True Positive는 양성(관심있는 질병=positive)으로 진단했고 실제 결과도 관심있는 질병(=positive)이었을(=true) 경우를 뜻합니다. 
• 아래와 같은 질문을 통해 TP의 여부를 확인해 볼 수 있습니다.
  • Q1. 딥러닝이 COVID 19(condition)으로 판단했는가? → If YES, then POSITIVE
  • Q2. 딥러닝이 positive라고 분류 했을 때, labeled data class(실제정답)도 positive class인가? → If YES, then TRUE

2-2. FP: False Positive

• False Positive는 양성(관심있는 질병=positive)으로 진단했지만 실제 결과가 관심있는 질병(=positive)이 아닌(=false) 경우를 뜻합니다. 
• 아래와 같은 질문을 통해 FP의 여부를 확인해 볼 수 있습니다.
  • Q1. 딥러닝이 COVID 19(condition)으로 판단했는가? → If YES, then POSITIVE
  • Q2. 딥러닝이 positive라고 분류 했을 때, labeled data class(실제정답)도 positive class인가? → If NO, then FALSE
• 아래 그림을 기준으로 설명하면, prediction은 covid-19으로 했지만, labeled data가 covid-19이 아닌 모든 class(normal, pneumonia, ..)인 경우에는 false positive가 됩니다.

2-3. TN: True Negative

• True Negative는 음성(관심없는 질병=negative)으로 진단했고, 실제 결과도 관심없는(=negative) 질병(or 정상)인(=true) 경우를 뜻합니다.
• 아래와 같은 질문을 통해 TN의 여부를 확인해 볼 수 있습니다.
  • Q1. 딥러닝이 COVID 19(condition)으로 판단했는가? → If NO, then NEGATIVE
  • Q2. 딥러닝이 negative라고 분류 했을 때, labeled data class(실제정답)도 negative class인가? → If YES, then TRUE
• 이때 중요한건 음성으로 판정한 경우(=COVID19이라고 예측하지 않은 모든 경우)에는 prediction 결과와 labeled data가 굳이 일치하지 않아도 TRUE가 될 수 있다는 사실입니다. 
  • 예를들어, prediction 결과가 pneumonia(=negative)라고 했을 때, labeleld data가 Normal이어도 True Negative에 속하게 됩니다.

2-4. FN: False Negative

• False Negative는 음성(관심없는 질병=negative)으로 진단했지만, 실제 결과는 관심있는(=positive) 질병인(=true) 경우를 뜻합니다.
• 아래와 같은 질문을 통해 FN의 여부를 확인해 볼 수 있습니다.
  • Q1. 딥러닝이 COVID 19(condition)으로 판단했는가? → If NO, then NEGATIVE
  • Q2. 딥러닝이 negative라고 분류 했을 때, labeled data class(실제정답)도 negative class인가? → If NO, then FALSE

2-5. Confusion Matrix

• 위에서 설명한 TP, TN, FP, FN 개념을 하나의 matrix로 볼 수 있는데, 이것을 confusion matrix라고 합니다.
• X축에 위치한 것들이 예측 모델이 prediction한 결과들을 보여줍니다.
  • 예를 들어, 관심있는 질병인 COVID-19은 3번 째 위치에 있는데, 해당 X축 위치에 있는 y축 요소들 ((3,1), (3,2), (3,3))은 모두 positive라고 보시면 됩니다. 그 외의 값들은 모두 negative가 되겠죠.
• TP의 경우에는 대각성분 ((1,1), (2,2), (3,3))에 위치해 있다고 볼 수 있습니다. 
• 그 외의 지표들을 표시하면 아래와 같습니다.

이제부터는 confusion matrirx나 아래의 지표들이 나오면 어떻게 해석해야할지 아시겠죠?

다음 글에서는 이 글의 연장선이 되는 추가적인 성능지표들에 대해서 알아보도록 하겠습니다!

• Sensitivity = Recall = TPR(Ture Positive Rate)
• Specificity = Selectivity = TNR(True Negative Rate)
• FPR = False Positive Rate
• Relationship between TPR and FPR

안녕하세요.

이번 글에서는 COVID-19이 갖는 영상학적 특징을 설명하는 유용한 사이트를 알려드리려고 합니다.

해당 내용을 따로 정리하긴 하였으나, 영상학적 자료는 라이센스 관련 여부가 확실하지 않아 링크만 걸어 두었습니다.

혹시 정리된 자료가 필요하신 분은 (비밀)댓글에 메일주소를 남겨주세요!

(↓↓↓코로나에 대한 영상학적 소견↓↓↓)

https://www.youtube.com/watch?v=nE0Zb6C-kzg 

https://www.youtube.com/watch?v=oOlJs7bJ0ho 

https://www.youtube.com/watch?v=YCX-ffofa8I 

https://www.youtube.com/watch?v=8ZKjo4KcF50 

안녕하세요.

이번 글에서는 왜 COVID-19을 영상학적으로 판단할 필요가 있는지 알아보려고 합니다.

먼저, COVID-19이 무엇인지 간단하게 알아보고, 왜 COVID-19을 CT, X-ray 같은 영상이미지에서 찾게 되는지 알아보도록 하겠습니다.

1. COVID-19이 무엇인가요?

2020년 2월 11일 세계보건기구(WHO)는 2019년에 발생한 코로나바이러스 감염증 (Coronavirus disease) 에 대한 공싱명칭으로 COVID-19을 사용하기 시작했습니다. 

대부분의 의학논문에서는 Severe Acute Respiratory Syndrome-Coronavirus-2(SARS-CoV-2) 라는 용어를 사용하기도 하는데, SARS-CoV-2와 COVID-19은 동의어라고 보시면 됩니다. SARS-CoV-2라는 용어가 의학적으로 좀 더 직관적인 의미를 나타내기 때문에 종종 논문에서 COVID-19 대신 SARS-CoV-2라는 용어를 사용하기도 합니다. 

Severe Acute Respiratory Syndrome-Coronavirus-2 라는 용어는 "코로나 바이러스를 통해 발생하는 급성 호흡 증후군"을 함축적으로 표현한 단어입니다. 그런데 용어를 자세히 보면 Coronavirus-2라는 명칭이 붙었죠? 왜 그럴까요?

사실 코로나 바이러스는 굉장히 오래전부터 있어 왔습니다. 코로나바이러스는 기원전 8000년경부터 존재했던 오래된 감기 바이러스의 일종입니다. 하지만 이러한 바이러스가 문제가되지 않았던 이유는 해당 바이러스가 같은 종들 사이에서만 전파가 되었기 때문이죠. 예를 들어, 사람들과 사람들 사이에서 전파되는 코로나 바이러스는 인체에 치명적인 영향을 미치진 않았습니다.  

하지만, 코로나 바이러스가 문제되기 시작한건 동물에게 있던 코로나 바이러스가 사람에게 전파되면서 부터 입니다.

동물과 동물간에 코로나 바이러스가 전파될 때는 보통 숙주와 중간숙주가 존재하게 됩니다. 예를 들어, 박쥐가 어떤 특정한 코로나 바이러스를 생산해낸 숙주(Natural host)라고 했을 때, 숙주로부터 해당 바이러스가 다른 동물에게 전파됩니다. 이렇게 숙주로 부터 감염된 동물을 중간숙주(Intermediate host)라고 합니다. 그리고, 중간숙주에 있던 코로나바이러스가 유전자 변이를 일으키면서 인간에게 전파됩니다. (아! 참고로 현재(2021.06)까지는 COVID-19의 중간숙주가 무엇인지 명확히 규명되진 않았습니다.)

앞서 언급했듯이 중간숙주가 보유하고 있는 코로나 바이러스가 유전자 변이를 일으켜 사람에게 전파되는데, 이 때 변이된 코로나 바이러스는 인간의 호흡기관에 굉장한 타격을 줍니다. 여러 호흡기관에서 다양한 증상이 발견되지만 보통은 가슴 부위에 위치한 폐(lung) 기능에 심각한 타격을 입혀 폐 질환으로 야기시킵니다. 이때, 폐나 다른 부위가 심하게 손상되면 호흡에 문제가 생기면서 사망까지 이를 수 있게 하는데, 이러한 개념들을 함축하여 '급성 호흡 증후군 (Severe Acute Respiratory Syndrome)'이라고 합니다.  

이러한 급성 호흡 증후군을 유발하는 바이러스가 코로나기 때문에 코로나바이러스를 의학적으로 "Severe Acute Respiratory Syndrome-Coronavirus-2"라고 명명하게 됩니다. Coronavirus-2라고 명칭이 붙은것을보면 Coronavirus-1도 있었겠죠?

Coronavirus-1 버전의 급성 호흡 증후군은 2002년에 발생한 사스(SARS)입니다. SARS는 SARS-CoV라고 표현되기도 하는데 풀어쓰면 "Severe Acute Respiratory Syndrome Coronavirus"가 됩니다. 또한, 2012년 발생한 메르스(MERS-Cov)도 "Middle East Respiratory Syndrome Coronavirus"라는 뜻으로 중동에서 발견된 코로나 바이러스라는 의미를 지니고 있습니다 (이때 중간숙주가 낙타였죠). 이러한 코로나 바이러스는 동물에게서부터 인간으로 옮겨간 후, 사람들끼리 해당 바이러스를 전파시기게 됩니다 (최근에는 이러한 바이러스가 변이를 일이키며 활동한다고 하죠). 지금까지 말한 코로나 바이러스에 대한 개념을 정리하면 아래와 같습니다.

• 동물에게서 발생한 코로나 바이러스가 인간에게 넘어가면 문제가 된다.
• 보통 폐 기능에 타격을 입해 호흡관련 문제를 일으키기 때문에 "호흡 증후군(Respiratory Syndrome)"이라는 명칭이 붙는다.
• 해당 바이러스는 2002년에 보고되었고, 최근 2020년부터 인류에 엄청난 피해를 주고 있다.
  • 사스(SARS): 2002년 보고된 SARS-CoV()는 코로나 바이러스로 인해 발생한 증상으로 이름을 붙였다.
  • 메르스(MERS): 2012년 MERS-CoV()는 중동에서 발견돼서 Middle East라고 이름을 붙였다.
  • 코로나(COVID 19): 2019년 SARS-CoV2(COVID-19)는 발생연도에 의해 이름이 붙여졌다.

(↓↓↓코로나란 무엇인가?↓↓↓)

https://www.youtube.com/watch?v=RJDroTVhP3c 

2. 왜 COVID-19을 영상학적으로 판별하려고 하나요?

현재 COVID-19을 판별하는 보편적인 방식(Golden standard)은 Reverse-Transcription Polymerase Chain Reaction (RT-PCR)입니다. RT-PCR은 사람들의 DNA를 채취해 코로나 바이러스 확진 유무를 판별합니다. 많은 국가들이 이러한 진단방식을 채택하고 있지만, 이러한 진단방식에도 분명 단점이 존재하죠. 

(↓↓↓RT-PCR 진단 프로세스↓↓↓)

https://www.youtube.com/watch?v=REoaZK6YMUM 

2-1) 첫 번째 문제는 정확도입니다.

1. RT-PCR의 문제점을 지적하는 부분중 하나는 낮은 sensitivity 성능 지표입니다.
2. Sensitivity(=TP/(TP+FN))가 낮다는 것은 FN(False Negative)가 높다는 것을 의미합니다.
3. False Negative가 의미하는 바는 실제 COVID-19 환자에게 음성이라고 (=COVID-19이 아니라고) 진단한 케이스인데, 감염질병에 있어서 FN이 높다는 것은 굉장한 문제가 됩니다.
4. 왜냐하면, 실제 COVID-19 환자가 안심하고 여러 사람을 접촉하면서 바이러스를 전파시킬 확률이 매우 높기 때문이죠. 
5. RT-PCR에서 대상을 FN으로 판별하는 경우는 아래와 같습니다.
   • 이전에 음성으로 반단했지만 반복검사 끝에 양성으로 바뀐 경우
6. 이러한 환자들 중 몇몇은 이미 CT를 통해 이상소견을 발견하기도 했다고 합니다. 

(↓↓↓FN 외에 다른 성능지표가 궁금하시다면↓↓↓)

https://89douner.tistory.com/253

(↓↓↓자가검사키트의 문제점↓↓↓)

https://www.youtube.com/watch?v=EtbYtK0FW7I 

(↓↓↓CT기반 COVID-19 판독↓↓↓)

https://www.youtube.com/watch?v=VQ-IwfsMstI 

[정확성에 대한 개인적인 견해]

의료영상 데이터를 기반으로 한 딥러닝 COVID-19 진단 모델 논문들을 읽어보면 대부분 RT-PCR의 낮은 성능지표(sensitivity)를 문제삼고 있습니다. 즉, 딥러닝 모델은 sensitivity 지표 뿐만 아니라 다른 지표들에서도 기존 RT-PCR 보다 성능이 좋다는 점을 주장하고 있습니다.

하지만, 딥러닝 모델을 기반으로 COVID-19을 분류 해보니 정확성이 높다고 이야기 하기에는 좀 더 검증해봐야 할 부분이 있다고 보였습니다. 예를 들면 아래와 같은 것들입니다.

1. X-ray, CT 이미지 상태에 문제는 없는지 (ex: 해당 이미지에 너무 많은 artifact가 있는건 아닌지)
2. Internal validation과 external validation이 제대로 구축된 상태에서 진행이 된건지
3. 딥러닝 모델이 결과적으로 옳게 분류했으나, 타당한 소견으로 분류를 한건지

이러한 부분들은 딥러닝 관련 연구 부분을 설명할 때 더 자세히 언급하도록 하겠습니다.

2-2) 두 번째 문제는 진단을 위해 소요되는 시간입니다.

1. 보건복지부에 따르면 RT-PCR은 진단시 2일 정도 되는 시간이 필요하다고 규정하고 있습니다.
2. 최근에는, 실시간(realtime) RT-PCR 방식 또는 자가검사키트를 이용해 빠르게 확진결과를 알아볼 수 있다고 하는데, 실제 관련 논문들을 보면 정확도에 심각한 문제가 발생하는 경우가 있습니다. 즉, 시간의 장점을 취한대신 정확성을 조금 포기 한거라고 볼 수 있는데, 만약 정확성이 많이 떨어진다고 한다면 해당 진단방식을 이용하는건 문제가 될 수 있습니다.

[시간에 대한 개인적인 견해]

 X-ray, CT 기반의 딥러닝 모델을 이용해야 한다는 논문들을 보면 RT-PCR보다 빠른 진단을 할 수 있다는 점을 강조합니다.

하지만, 이 부분은 상황별로 분리해서 봐야 한다고 생각합니다. 예를 들어, 사람 한명을 기준으로 봤을 때는 당연히 X-ray, CT를 기반으로 판독하는게 시간이 빠르겠죠. 하지만, X-ray, CT 촬영은 장비의 수가 제한적이기 때문에, 환자가 늘어나면 촬영 시간이 굉장히 길어질 것입니다. 즉, 진료대상이 만명이 된다고하면 RT-PCR 방식이 더 빠르다고 할 수 있겠죠. 

(↓↓↓영상학적 진단 방식이 시간적인 측면에서 문제가 될 수 있는 경우↓↓↓)

https://www.youtube.com/watch?v=jEP0hZtWGr8 

또한, 딥러닝 모델을 사용한다는 측면에서 보면, 당연히 컴퓨터가 빠르게 진단해주기 때문에 시간을 절약할 것이다라고 볼 수 있습니다. 하지만, 보통 딥러닝 모델은 의사들의 진단을 보조해주는 보조진단 도구 (CAD: Computer Aided Diagnosis)로 활용되기 때문에  RT-PCR에 비해 진단시간이 짧다고 볼 순 없습니다. 즉, 최종 결정은 의사가 하기 때문에, 기존의 의사들의 진단 속도를 높여줄 수는 있을지 몰라도, RT-PCR 보다 빠른 진단을 할 수 있다고 주장하는 것은 현실적으로 모순이 될 수 있습니다. 

만약, 딥러닝 모델로 진단했을 때, 정상일 확률이 낮은 경우에만 의사들이 해당 데이터를 진단하게 해준다면 진단시간을 획기적으로 줄일 수 있겠죠. 즉, 방대한 양의 데이터를 초기 스크리닝 또는 필터링을 해줌으로써 진단속도를 높일 수 있습니다. (실제 이러한 스크리닝 기법은 google healthcare에서 발표한 "A deep learning system for differential diagnosis of skin diseases"와 같은 논문에서도 도움이 될거라고 언급하고 있죠)

결국 의료영상 데이터를 기반으로 COVID-19를 분류한다는 논문을 작성할 때, 기존 RT-PCR 보다 빠르기 때문이라고 하는 주장할 때는 좀 더 구체적인 상황을 가정해야하지 않나 싶습니다. 

2-3) 세 번째 문제는 RT-PCR을 사용하기 위해서는 많은 비용을 요구합니다.

1. Nature에 실린 "The explosion of new coronavirus tests that could help to end the pandemic"논문 중 일부를 인용하자면, RP-PCR 진단 키트를 생산하기 위한 설비(facilities)를 갖추는 건 상당한 비용을 요구한다고 합니다. 기존에 이러한 연구가 활발히 진행되는 선진국들은 기본적인 설비가 이미 갖춰져 있었겠지만, 그렇지 않은 나라에서 이러한 설비를 설치하고 모든 국민에게 제공한다는 것은 경제적으로 큰 부담이 됩니다. 
2. 또한, RT-PCR을 진단하기 위해서는 잘 훈련된 인적자원들이 필요합니다. 진단 과정에서는 "환자의 DNA를 검출 → 해당 DNA를 운반 → 도착한 DNA 정보 분석"과 같은 과정이 포함됩니다. 진료소에 배치되어 있는 인원들, 환자의 DNA 정보를 운반하는 인원들, 해당 데이터를 분석하는 인원들은 모두 잘 훈련된 사람이어야 합니다. 이러한 인원들의 인건비나 진단과정에서 발생하는 간접비용(운반비용, 진료소에 있는 의료진 방호복 등)은 RT-PCR 진단 프로세스가 상당한 비용을 요구한다는 것을 보여줍니다
3. 최근에는 진단비용이 CT 촬영비용과 비슷하게 나온다는 견해가 있어서 진단비용까지 부담이 되고 있습니다.

https://www.youtube.com/watch?v=-lcdWy3VPOs

[비용과 관련한 개인적인 견해]

사실 설비와 관련된 문제를 따지면 CT, X-ray 같은 촬영장비를 설비비용도 적지 않다는 것을 알 수 있습니다. 만약, 이러한 장비를 설치해야 한다면 막대한 비용이 들기 때문에 "RT-PCR이 비용이 많이 들어서 영상이미지 기반의 진단을 해야한다"고 이야기하는 것은 모순이 될 수 있습니다.

 그렇기 때문에, 몇 가지 상황을 가정하고 이야기를 하는 것이 더 맞다고 생각합니다. 예를 들어, 이미 CT 같은 장비들은 대학병원에 구비가 되어 있는 상태이고, 지역근처의 2차병원에서도 구비가 되어 있습니다. X-ray 같은 장비들은 동네병원에서도 구비가 되어 있죠. 그래서, 기존 장비들을 재활용할 수 있기 때문에 새로운 시설을 만들 필요가 없을 수 있죠. 또한, 영상의학적 보조진단 software 프로그램을 사용하게 되면 진단 프로세스가 "환자 X-ray or CT 촬영 → software 프로그램 → 진단"과 같이 진행되기 때문에 중간 과정을 획기적으로 줄여줄 수 있다는 장점이 있을 겁니다. 이러한 부분들을 통해 COVID-19을 진단하는데 발생하는 총 비용이 RT-PCR보다 적다는 자료가 있다면, 영상학적 진단을 사용해야 하는 경제적인 이유가 될 수 있겠죠.

2-4) 네 번째 문제는 불안전성 입니다.

1. 선별 진료소 의료진들의 코로나 감염사례가 증가하고 있습니다. RT-PCR 진단 방식을 위해서는 환자와 대면을 해야하기 때문에 의료진들이 위험에 노출 될 수 밖에 없습니다.
2. 사실 방호복을 입고 진료를 한다고 하지만, 업무가 과중되거나 갑자기 처리해야 할 일이 많아지면 정신이 없기 때문에 자신도 모르게 마스크를 내릴 수 도 있습니다. 한 여름에는 더욱 심하겠죠.
3. 결국, 비대면으로 실내에서 진단할 수 있는 방법을 생각하지 않을 수 있습니다. 

[안정성과 관련한 개인적인 생각]

 개인적으로는 "영상의료 기반의 딥러닝 기술을 사용해야 한다"는 주장을 하려고 했을 때, 안정성과 정확성에 대한 이유가 이러한 주장을 가장 잘 뒷받침해줄 수 있는 근거가 아닌가 싶습니다. 

COVID-19을 진단할 때 RT-PCR를 대체할 수 있는 방식으로 영상학적인 진단기술이 주목받고 있지만, 앞서 개인적인 견해에서 밝혔듯이 문제점 또한 존재 합니다.

하지만, 이러한 문제점들이 개선 된다면 영상학적 진단 방식은 더욱 주목을 받을거라 생각합니다. 그리고, 딥러닝이나 그 외 인공지능 기술들이 이러한 단점을 빠르게 개선시켜줄 것이라 기대하고 있습니다.

다음글에서는 딥러닝 기반 COVID-19 연구를 설명하기 전에 실제 영상학과에서는 어떤 기준으로 COVID-19을 진단하는지 알아보도록 하겠습니다!

안녕하세요.

제가 "Medical AI research"라는 카테고리를 개설한 이유는 크게 세 가지 입니다.

1. 의료인공지능 지표소개

연구논문을 읽으실 때 중요하게 보시는 부분 중 하나가 실험결과라고 생각합니다. 

보통 실험결과 부분은 기존 모델들과 자신이 제안한 모델을 비교하는 테이블 형태로 제시가 됩니다.

이때 연구자들은 실험결과 지표를 보면서 제안한 모델에 대해서 분석(analysis)을 합니다.

기존 의료분야에서는 보통 통계적 기법을 적용하여 실험결과를 제시하지만, 의료인공지능 분야에서는 머신러닝, 딥러닝, 컴퓨터비젼 등에서 사용하는 분야들의 지표들이 소개가 됩니다. 또한, 기본적인 통계적 기법외에도 casual inference에서 사용하는 지표들이 유의미하게 사용되는 경우도 있습니다. 

보통 전통적인 연구 분야에서 사용되는 지표가 정해져 있는 반면에, 의료인공지능 분야같은 곳에서는 굉장히 다양한 학문들이 융합되기 때문에 사용되는 지표 또한 다양합니다. 물론, 이미 다 알고 있으실 만한 지표들일 수 있겠지만, 최대한 메디컬 분야에 맞는 예시를 기반으로 설명을 하는것이 필요하다고 생각했습니다.

2. 경험 및 느낀점 공유

두 번째 이유는 제가 리딩했던 연구들에 대한 경험들과 해당 연구들을 진행하면서 느꼈던 점들을 공유하기 위해서 입니다.

1) 경험

물론, 현재 훌륭한 연구원 분들께서는 이미 cutting edge (state-of-the art) 연구를 진행하고 있으시기 때문에, 큰 도움이 되지 못하는 글이 될거라 생각합니다.

하지만, 딥러닝이라는 것이 연구해야될 분야가 굉장히 다양함에도 불구하고, 연구개발에 굉장한 시간을 요구하기 때문에 다양한 시도를 하는것이 제한적일 때가 많습니다. 그래서 혹시나 제가 했던 연구가 방법론 적인 측면에서 도움이 될 수 도 있겠다고 생각했습니다. 또한, 기존 연구자들 뿐만 아니라 다른 분야에 있으신 분들도 의료분야로 커리어 전환을 하실 때, 도움이 될 수 있을 것 같다는 것 같다는 생각에 제가 경험했던 내용들을 자료화해 공유하려고 합니다.

예를 들면 아래와 같은 것들 입니다.

• 딥러닝 학회에서 제시한 batch normalization 초기화 곤련 방법론을 medical에 적용했을 때, 이렇게 저렇게 변경시켜서 적용했더니 성능 향상이 있더라~
• 딥러닝 학회에서 제시한 방법들은 scratch training 방식인데, medical 영역에 transfer learning 에 맞춰 적용하려니까 어떤건 효과가 있었고 어떤건 효과가 없더라~
• 의료분야에서 흔히 있는 class imbalance 문제를 해결하기 위해 어떠한 evaluation 방식을 쓰면 좋더라~
• 의료계에서는 external validation을 거쳐야 해당 모델이 다른 의료기기에서 발생한 데이터들에게도 잘 적용된다고 판단하더라~
• 기타 등등....

2) 느낀점

굉장히 저명한 학회의 논문들은 훌륭한 editor들의 검수를 통해 나온 논문들이겠지만, 개인적으로 읽었을 때는 실험결과의 타당성에 대해 의문을 가진적이 많았습니다. 또한, 내가 하고 있는 연구에서는 어떠한 점을 보완해야 하며, 이것이 현실세계에 적용가능하게 하기 위해서는 어떠한 노력이 필요한지 공유하는 것이 좋을 것이라 생각했습니다. 

예를 들면, 아래와 같은 것들입니다.

• EX1) 기존 논문을 분석했는데, 실험결과가 엄청 좋게 나왔다. 그런데, 다른 연구들과 비교해보니까 이건 데이터 편성을 잘 못한 것 같더라~
• EX2) 신종바이러스에서는 어떠한 지표들을 좀 더 집중적으로 보는 것이 좋은 것 같더라~
• EX3) CT, X-ray 이미지 분류 연구들의 문제점은 분류결과에만 치중한다는 점인 것 같다. 그래서, CNN 모델이 왜 이러한 진단을 내리게 됐는지를 밝히는 것이 더 실증적인 연구일 것 같다~
• EX4) 어떤 논문은 기본적으로 임상학적인 정보가 결여되어 있기 때문에 실험결과 자체를 신뢰하기 어려운 것 같더라~

3. 디지털 공간에서의 나의 존재 구축

마지막 이유는 지금까지 내가 했던 연구들을 명확하게 정리하여 다른 사람들에게 나를 알리기 위함입니다.

물론 많은 분들이 훌륭한 커리어를 쌓으면서 CV를 만들고 있으실 겁니다.

물리적인 공간에서 서로 디스커션을 하고 연구를 진행하면서 엄청난 성과들을 만들고 있으시는 분들을 보면 항상 감탄만하게 됩니다. "나는 언제쯤 저정도의 위치까지 도달할 수 있을까?"라는 생각을 하게 만들죠.

그래서, 개인적인 노력의 일환으로 블로그를 개설했습니다. 블로그에 내가 정리한 내용을 게재하면, 나중에 혼동되는 개념에 대해서 쉽게 찾아 볼 수 있을 뿐만아니라, 내가 부족한게 무엇인지, 어떠한 부분을 잘 못 이해하고 있는지를 다른 사람들로부터 쉽게 파악할 수 있었습니다.

최근에 유튜브의 성장과 의료인공지능, 4차 산업 등 여러 이슈들을 살펴보면서 어떤 공통점이 있을까하고 생각하던 도중, 내가 쓴 블로그를 통해 내 스스로가 도움을 받는 모습을 보면서 아래와 같은 생각을 하게 됐습니다.

"물리적 공간에서의 내가 블로그라는 디지털 공간에서의 나로부터 수 많은 도움을 받고 있는 것 같다."

"이제는 나라는 존재를, 물리적 공간에 국한시키면 안되겠구나. 디지털 공간에서도 나의 존재를 만들어야 겠다!"

물리적 공간에서의 나는 활동시간이 제한적이지만, 디지털 세계에서 존재하는 나는 활동시간이 무제한이었습니다. 즉, 디지털 세계에서는 나라는 존재를 24시간 PR 하고 있는 것이죠.

그래서, 내가 했던 개별 연구들을 디지털 공간에다가 알리게되면 이것이 어떠한 형태로 나에게 도움을 주게 될지 궁금했기 때문에 해당 카테고리를 개설했습니다.

앞으로 여러 글들을 게재하고 관련 이슈들에 대해 피드백 또는 조언을 주시면 감사하겠습니다!