"Network Compression for AI" 카테고리에서는 AI 모델을 압축시키는 여러 방법에 대해서 이야기 하려고 합니다.
실제로 AI모델 (ex:딥러닝, 머신러닝 모델 등) 들은 하드웨어에 임베딩 하기 힘든 큰 용량을 갖고 있습니다.
그래서 몇 년전부터 이러한 AI 모델을 압축시키는 여러 기술들 ("Knowledge distillation, Pruning, etc.) 이 출현하고 있었죠.
이미지 출처: https://blog.est.ai/2020/03/%EB%94%A5%EB%9F%AC%EB%8B%9D-%EB%AA%A8%EB%8D%B8-%EC%95%95%EC%B6%95-%EB%B0%A9%EB%B2%95%EB%A1%A0%EA%B3%BC-bert-%EC%95%95%EC%B6%95/
그렇다면 왜 AI 모델을 하드웨어에 올려서 사용하려는 노력이 왜 필요할까요?
이미지 출처: https://kr.mathworks.com/company/events/webinars/upcoming/deep-learning-with-raspberry-pi-and-matlab-3251374.html
예를 들어, 굉장히 좋은 저널과 학회에 논문들이 쏟아져 나오고 있지만, 종종 "이러한 기술들이 우리 일상생활을 어떻게 바꿀 수 있을까?"라는 생각이 드는 경우가 있습니다. 물론, 논문에서 introduction을 읽다보면 어느 분야에 기여할 수 있는지 파악할 수 있지만, 개인적으로는 내 일상에서 너무 멀리 떨어진 것 같다는 생각을 하기도 합니다.
연구라는 것이 굉장히 독창적인 측면도 좋지만,
결국 산업에 기여하고 투자를 받아야 오래 동안 할 수 있습니다.
또한, 바로 내 주위 사람들에게 영향을 미칠만한 연구를 하고 있다는 느낌을 받아야 동기부여도 더 잘 될거라고 생각합니다.
이미지 출처: https://journals.plos.org/plosmedicine/article/figure?id=10.1371/journal.pmed.1001953.g001
이미지 출처: https://aeneas-office.org/2018/11/20/penta-project-creates-secured-digital-connected-healthcare-devices/
이러한 노력의 일환으로 딥러닝 분야에서는 큰 딥러닝 모델 용량을 하드웨어 수준에 맞추도록 줄여주는데, 이를 Network Compression 이라 합니다.
우선 Network Compression 기술들에 대해 알아보기 전에, 이러한 기술들의 needs가 커질 수 밖에 없었던 여러 현상들과 관련 용어들을 다루는 글을 기재하도록 하겠습니다. 왜냐하면...
삼성과 TSMC의 집적기술 경쟁으로 인해 집적기술의 속도는 빨라지고 있었고, 이러한 기술진보가 아두이노와 같이 굉장히 작은 기기에서도 딥러닝이 돌아갈 수 있게 만들어주고 있었습니다. 그 외에도, 집적기술의 발전은 NVIDIA의 성장에 굉장한 영향을 미치고 있었고, NVIDIA는 다양한 분야 (의료, 산업) 등에서 다양한 딥러닝 관련 서비스를 제공하고 있었죠.
또한, 딥러닝 모델이 생산해내는 방대한 양을 처리하기 위해 Edge Computing이라는 개념이 생겨나기 시작했습니다. Edge Computing의 출현으로 AIoT라는 개념도 살펴보게 되었고, 이러한 것들이 곧 smart home, smart farm, smart city 같은 거대한 시장을 형성하고 있는 중이라는 사실도 알게 되었죠.
위와 같은 변화들은 클라우드 시장에도 영향을 미칠 것이라 생각했습니다. 딥러닝 기계에서 발생시킨 유의미한 데이터를 종합 분석하기 위해 아마존의 AWS, 구글의 GCP, 마이크로 소프트 Azure 같은 클라우드 서비스가 Edge computing을 지원하면서 IoT 환경을 구축하는 인프라를 형성하고 있고 관련 개발자회의도 진행되고 있다는 걸 파악할 수 있었습니다. 물론, 이러한 클라우드 시스템을 이용하기 위해서 나에게 맞는 하드웨어 장비가 무엇인지 파악하는 것도 굉장히 중요했습니다.
그리고, 이러한 AIoT 기술이 Smart home, Smart farm, Smart City 분야에 적용되는 것을 보고 들었던 생각이, "저기서 발생하는 모든 데이터와 기술이 건강과 직결되겠구나"였습니다. 단적인 예를 들어보겠습니다.
스마트 홈이 구축이 되면 사람들의 데이터가 쌓일 것이고, 이에 따라 개인에게 최적화된 집안의 온도, 습기 등을 조절해 줄 수 있게 됩니다 (저같은 경우에는 집안의 온도를 평균보다 높게 설정하여 몸을 최대한 자주 이완시켜주는 것을 선호합니다). 또한, 수면시 수면패턴에 따라 어떤 문제가 있는지 알려주고 유용한 생활패턴을 제공해 줄 수 있을 겁니다.
스마트 팜 구축을 통해 좀 더 영양가 높은 음식들을 매년 안정되게 생산해낼 수 있을 거라는 판단을 하게됐습니다. (보통 전통적인 재배방식은 기후 및 재배 방법에 따라 모든 작물들의 영양가가 각기 다르다고 합니다)
스마트 시티 같은 것이 구축이 되면 원격의료 같은 시스템도 구축이 될 수 있을 겁니다.
어쩌면 이제는 호텔의 등급을 나누는 요소에 맛있는 음식, 깨끗함, 조망 같은게 아니라, 호텔에서 제공하는 개인화된 의료 서비스(ex: 개인의 건강에 맞는 방안의 환경 구성, 개인의 건강상태에 따른 영양가 높은 음식제공, 위급시 빠른 의료진료)가 될 수 도 있겠다는 생각을 하게 됐습니다. (아니면 VIP들에게 특별히 제공되는 맞춤형 의료 서비스들 같은 것들을 제공해 줄 수도 있겠네요)
결국 이러한 AIoT의 출현은 많은 산업에 영향을 미치겠지만, 의료산업을 다양하게 비지니스화 할 수 있을 것이라고 생각했고, 특히 의료분야를 디지털화 시키는데 촉매제 역할을 할 수 있겠다는 생각을 하게 됐습니다.
4. 2020 하반기 다양한 딥러닝 연구분야에 관심.
2020년 하반기에는 IoT에 딥러닝을 구현해보고 싶다는 생각에 low level에서 부터 코드를 작성하는 연습을 했습니다. 한달 정도 관련 이론들을 정리했고, 이 부분은 추후에 업로드 할 예정입니다.
그리고, 8월부터 COVID-19 관련 의료 이미지를 분류하는 프로젝트를 리딩하게 됐습니다.
"1.병원에서는 어떤 방향성을 갖고 X-ray, CT 상에 나타난 COVID-19을 분류하는지 조사했는지, 2.어떤 dataset들이 사용되는지, 3.어떠한 전처리 과정을 사용하는지" 등에 대한 부분의 정보를 여러 논문을 비교분석하여 발견했습니다.
이전까지는 CNN, Object detection, Segmentation 과 같은 분야에 대해서 공부하고 관심을 갖고 있었다면, 이번 프로젝트를 하면서부터는 의료산업에서 겪는 문제들을 해결하기 위해 어떤 딥러닝 기술들이 사용되고 있는지 조사해보았습니다. 그리고 개인적으로 관심을 갖었던 기술들은 아래와 같습니다.
4-1.CNN 학습 방법론
2018년까지는 CNN 구조 모델링 관련된 논문들이 많이 나왔었던 것 같았습니다. 석사시절 다양한 모델들을 공부를 하면서 느꼈던 부분은 "투자한 시간에 비해 얻어갈 수 있는게 제한적일 수 있겠구나"였습니다.
2020년에는 Transformer 모델의 등장을 통해 CNN이 아닌 새로운 vision 관련 딥러닝 모델을 출현을 볼 수 있었고, 최근 (2021년)에는 MLP로만 구성한 모델이 또 좋은 성능을 보이고 있는걸 봤을 때, 특정 모델의 디자인 하는 것 보다 딥러닝을 어떻게 학습시키면 좋은지에 대해서 공부하는게 더 효율적이겠다는 판단을 했습니다.
왜냐하면, 이 부분을 공부하면 다양한 모델들에 적용시킬 수 있을거라고 판단했기 때문입니다.
또한, 학습 방법론 외에도 evaluation 하는 방법에도 관심을 갖기 시작했습니다.
특히 희귀병이나 이러한 갑작스러운 신종바이러스 같은 경우에는 해당 데이터가 부족하여 data imbalance 문제가 심각한데, 이를 극복하기 위해 어떻게 모델을 구성하면 좋을지, 어떤 evaluation 방법을 쓰면 좋을지 고민했습니다.
현재 Notion에 정리했던 내용을 tistory 블로그에 옮기고 있습니다.
4-2. Semi-supervised learning
의료 분야에서는 labeled dataset을 얻기가 굉장히 힘듭니다. 예를 들어, 어떤 CT이미지의 병명을 찾기 위해서는 몇몇 전문의들이 보고 진단을 하는데, 이것이 전부 시간과 비용을 요구하죠. 그래서 우선 촬영만하고 labeling 하지 않은 unlabeled dataset이 굉장히 많이 존재합니다.
의료 분야에서는 이러한 데이터의 활용도를 높이는 것이 시간적, 경제적 측면에서 이득이 될 수 있을 것이라 판단했습니다. 그래서, unlabeled dataset을 이용한 semi-supervised learning 분야에 대해서 공부하면 좋겠다고 판단했습니다.
현재 Notion에 정리했던 내용을 tistory 블로그에 옮기고 있습니다.
4-3. Adversarial attack
딥러닝 모델을 의료 분야에서 사용하기 위해서는 해당 모델의 신뢰성이 뛰어 나야합니다. 그런데, 이러한 딥러닝 모델이 특정 해커의 공격에 의해 전혀 엉뚱한 결과를 도출한다면 굉장한 문제를 일으킬거라고 판단했습니다.
만약, 암을 판단하는 딥러닝 모델을 쓰고 있다고 가정해보겠습니다. 나의 폐 CT 이미지를 딥러닝 모델에 넣기 전에 어떤 해커가 noise를 입혔다고 해보겠습니다.
사람들은 해당 noise를 육안으로 구별할 수 없습니다. 그래서, 사전에 해당 이미지에 noise가 섞인지 알수가 없는 것이죠.
하지만, 딥러닝 입장에서는 noise가 추가되면 완전 다른 데이터로 인식하기 때문에 잘 못된 진단을 할 수 도 있습니다. 예를 들어, 암환자의 CT 이미지인데, 정상인이라고 진단할 수 있게되는 것이죠.
보통 딥러닝 분야에서는 이러한 noise를 입히는 공격을 adversarial attack이라 합니다. 이러한 공격에 robust하게 학습을 시키거나, 이를 예방 할 수 있는 시스템이 갖춰지지 않으면 병원과 환자 입장에서는 굉장한 타격을 받게 됩니다.
결국, 이러한 지식은 딥러닝 보안과 직결될 수 밖에 없기 때문에 꼭 배워두어야 된다고 생각해서 조사하게 됐습니다.
현재 Notion에 정리했던 내용을 tistory 블로그에 옮기고 있습니다.
4-4. Knowledge Distillation (KD)
Knowledge Distillation은 큰 딥러닝 모델을 작은 모델로 줄여주는데 필요한 기술입니다. (딥러닝 모델을 compression하는 기술이죠)
사실, 의료분야에서는 정확성이 중요하기 때문에, 딥러닝 모델의 크기 여부가 상대적으로 덜 중요해 보일 수 있습니다. 하지만, 성능의 차이가 크지 않다면 병원에서는 당연히 적은 비용의 하드웨어로 돌릴 수 있는 딥러닝 모델을 사용하게 되겠죠. 그렇기 때문에 딥러닝을 compression 시키는 기술은 경제적인 측면에서 언젠가 활발하게 적용될 기술이겠다 싶었습니다.
또한, 언젠가는 Healthcare 산업의 한 분야인 wearable 시장에서는 작은 모델에서 딥러닝을 돌려야 하기 때문에 딥러닝을 압축시키는 기술이 필수적입니다. 그래서, KD 기술은 알고 있으면 분명 AIoT가 의료산업에 적용될 때 큰 도움이 될거라고 생각했습니다.
이러한 경제적인 측면을 제외하고, 최근 딥러닝의 분류 정확성을 높여주기 위해 KD 기술이 사용되기도 했습니다.
딥러닝에서 앙상블 기법이 다양하게 사용되고 있는데, KD를 이용해 압축시킨 다양한 딥러닝 모델들을 앙상블 시켜 분류 정확도를 향상시켜 볼 수 있겠죠.
그리고, 종종 KD가 학습효과를 높여주는 방법론으로 사용되고 있기도 하기 때문에 여러 측면에서 고려했을 때 배워두면 미래에 꼭 유용하게 쓰이겠다 싶어서 관련 내용들을 조사하기 시작했습니다.
현재 Notion에 정리했던 내용을 tistory 블로그에 옮기고 있습니다.
2020년 하반기는 해당 연구주제를 공부하였고, 몇몇 주제에 대해서는 실험도 하고 유의미한 결과를 얻었습니다. 이 프로젝트를 진행하면서 딥러닝이 다양한 의료분야에 적용가능하겠구나라는 판단을 하게 됐고, 이 분야라면 딥러닝을 공부하는 것이 충분히 의미있겠다는 생각을 하게 됐습니다.
5. 2021 상반기 - 디지털 헬스케어를 접하다
2021년이 되자마자 시작한 토플 공부를 2~3달안에 마무리하고, 자연스럽게 어떤 연구를 하면 좋을지 생각하다 디지털 헬스케어라는 용어를 알게 됐습니다.
"Digital health, which includes digital care programs, is the convergence of digital technologies with health, healthcare, living, and society to enhance the efficiency of healthcare deliveryto make medicine more personalized and precise."
지금까지 제가 관심을 갖고 공부했던 부분들과 정확히 일치하는 용어였습니다.
그리고, 디지털 헬스케어에서 가장 매력적이라고 생각했던 세 가지 부분이 있었습니다.
5-1. 의료산업의 디지털화
4차 산업이 시작되면서 현실세계의 이루어졌던 행위들이 디지털로 옮겨가게 된다고 합니다. 예를 들어, 지폐를 사용하는 사람보다 삼성페이 같이 핸드폰으로 결제를 사용하는 사람이 훨씬 많아질거라는 이야기이죠.
위와 마찬가지로, 의료 산업의 대부분 형태도 디지털화 될 것이라고 예측하고 있습니다. 굳이 의사를 대면하지 않아도 진료가 가능한 원격진료로 시스템, 다수의 의사들이 만나서 CT, X-ray 이미지 상의 병변을 파악하지 않아도 딥러닝 보조진단 기구를 통해 빠르고 정확한 진료를 가능하게 해주는 시스템 (Deep learning base-CAD(Computer Aid Diagnosis) 등 모든 의료 시스템은 디지털화가 될 것이라는 부분이 매력적이라고 생각했습니다.
기존의 처방은 환자의 '약'을 통해 몸에 바르거나 주입하는 형태였습니다. 어떻게 보면 '화학적 치료'에 의존하고 있는 상태였죠.
하지만, 이러한 처방이 모든 질병을 완화 시켜줄 수 없다는 것을 깨닫고, 좀 더 '치료'라는 개념이 다각화 되어야 할 필요가 있다고 생각했습니다.
예를 들어, 디스크나 재활치료를 위해 pose estimation 같은 기술로 만든 소프트웨어 프로그램이 하나의 처방전이 될 수 있겠죠. 또는, 일상생활에서 보행습관 또는 보행패턴을 분석해 보행 시 잘 못된 보행패턴을 수정해줄 수 있게 해준다던지, 정신관련 질병 같은 것들을 완화시키기 위해 스마트폰 앱을 이용하는 것을 처방해줄 수도 있겠죠.
개인적으로는, 이러한 움직임이 의료산업과 다른 산업들과의 connection을 강하게 만들어주어 의료산업 전체에 '자본 유통'이 활발해 줄 것으로 기대하고 있습니다.
예를 들어, 집중력 부족, 우울증, 약물중독 같은 문제들을 '게임'으로 처방해주면, '화학적 치료'에만 투자가 되어있던 연구 편향성도 다각화될 수 있을 것이라고 생각합니다.
예전부터, 게임잘 하는 친구들을 보면 정말 머리가 비상한 경우가 많았는데, 이런걸 보면 집중력이 낮은 학생들에게는 게임이 도움이 될 수 있을거라고 생각했습니다.
게임을 오래하는건 당연히 문제가 됩니다. 그런데, 공부도 오래하면 문제가 됩니다 (왜 공부는 8시간씩하면 중독이라 안하는지는 모르겠네요...). 모든지 중독수준으로 하면 개인에게 신체적, 심리적으로 악영향을 미치게 되죠.
즉, 게임이라는 것은 하나의 수단인데, 게임자체에 대한 인식을 단지 '중독', '여가' 수준으로 한정짓는건 문제가 있다고 생각했어요. 마치 '핵폭탄이 많은 사람들을 죽일 수 있으니 핵은 나쁜거야'라고 생각하면 안되는 것 처럼요.
게임산업도 이러한 뉴스를 반길 것이고, 막대한 자본을 갖고 있는 게임산업이 이미지 개선을 위해 의료산업에 막대한 투자를 할 가능성도 커지게 되겠죠.
또한, 인지관련된 처방을 자세교정 프로그램으로 해준다면, 해당 프로그램을 집에서 어플을 이용해 한다거나, 해당 프로그램이나 어플을 헬스장이나 체육산업 곳에서 이용해 사용할 수 도 있을거라고 생각합니다.
결국, 폐쇠적으로 진행되었던 의료산업이 다양한 산업과 연결되어 다양성(개방성)을 갖춤으로써, 의료산업이 좀 더 많은 일반인들에게 쉽게 접근 될 것이라 생각합니다.
또한, 이러한 움직임은 결국 의료를 접하는 고객층을 다양화 시킴으로써, 기존 의료계에서 종사하셨던 분들에게 더 많은 역할을 요구할 것으로 생각됩니다. 즉, 다양한 수요를 통해 의료에 대한 폐쇠적인 이미지를 개선 시킬 뿐만 아니라 이를 통해 의료산업 전반에 경제적인 효과를 불어일으킬 것이라고 생각해요.
제가 공부해왔던 분야도 딥러닝 및 IT 관련 분야였고, 관심을 갖게된 domain 분야도 의료관련 분야 였기 때문에 '디지털 헬스케어'라는 분야에서 연구를 진행하면 여러므로 재밌겠다 싶어서 디지털 헬스케어라는 분야를 하나의 큰 도메인으로 잡고 가면 좋을 것 같다고 생각했습니다.
이러한 큰 도메인에서 딥러닝 분야를 계속 공부하고, 딥러닝 최신 모델을 의료분야에 맞게 디자인하는 연구를 하면 좋겠다는 생각이 들었어요.
6. 2021 하반기 계획
디지털 헬스케어라는 분야는 굉장히 다양한 분야가 융합 될거라고 생각했습니다.
제 개인적으로는 의료지식과 IT지식을 적절하게 갖추는 것이 중요할 거라고 예측하고 있습니다.
예전에, 석사시절에 치매환자의 행동패턴을 통해 치매 중증도를 분류하는 연구를 진행한적이 있었습니다. 사실 겉보기에 정상인, 경증치매환자, 중증치매환자 등의 행동패턴만 분석하면 될 것으로 보이지만, 실제로 이러한 계획을 잡기 위해서 아래와 같은 지식들이 필요했습니다.
'왜 행동패턴이 치매 중증도와 관련이 있는지', '기존에 치매를 분류하는 방법론이 무엇이었는지'에 대한 의학적 지식 및 근거 마련
'행동패턴을 분석하는 다양한 딥러닝 모델 조사', '관련이론 딥러닝 공부 (딥러닝 이론, 수학과목 등등)'
실험을 하기 위한 딥러닝 개발환경 세팅 (클라우드 관련해서 정리한 것도 있는데 이는 추후에 업로드 할 예정입니다)
다음달(2021년 6월) 부터는 "계획하고 있는 프로젝트"를 통해 의료 데이터를 분석하는 경험을 좀 더 쌓을 예정입니다. 그리고, 새로운 딥러닝 이론 및 방법론을 공부하면서 해당 프로젝트에 적용하는 연구를 진행 하려고 합니다. 이러한 연구들을 서비스화 시켜주는 것이 중요할 거라고 판단해서, MLOps 와 같은 분야도 여유가 생길 때, 공부할 계획입니다.
실제로 이러한 디지털 치료제를 개발하기 위해서는 임상실험 경험도 중요하고 관련 의료지식도 체득하는게 중요할 것이라 판단하여 올해 하반기에 국내, 국외 박사과정에 지원해볼 생각인데, 잘 될지 모르겠네요ㅎㅎ (받아 준다는 곳이 있다면 빨리 들어가고 싶어요ㅜ...ㅎㅎㅎ)
