이 글을 쓰게 된이유

안녕하세요.

 

 

"Network Compression for AI" 카테고리에서는 AI 모델을 압축시키는 여러 방법에 대해서 이야기 하려고 합니다.

 

실제로 AI모델 (ex:딥러닝, 머신러닝 모델 등) 들은 하드웨어에 임베딩 하기 힘든 큰 용량을 갖고 있습니다.

 

그래서 몇 년전부터 이러한 AI 모델을 압축시키는 여러 기술들 ("Knowledge distillation, Pruning, etc.) 이 출현하고 있었죠. 

 

 

이미지 출처: https://blog.est.ai/2020/03/%EB%94%A5%EB%9F%AC%EB%8B%9D-%EB%AA%A8%EB%8D%B8-%EC%95%95%EC%B6%95-%EB%B0%A9%EB%B2%95%EB%A1%A0%EA%B3%BC-bert-%EC%95%95%EC%B6%95/

 

 

그렇다면 왜 AI 모델을 하드웨어에 올려서 사용하려는 노력이 왜 필요할까요?

 

 

이미지 출처: https://kr.mathworks.com/company/events/webinars/upcoming/deep-learning-with-raspberry-pi-and-matlab-3251374.html

 

 

 

그 이유는 당연히 산업에 적극적으로 활용하기 위해서 입니다.

 

 

https://www.youtube.com/watch?v=vzBpSlexTVY 

딥러닝 모델이 실제 하드웨어 기기에 배포되는 프로세스 예시

 

 

딥러닝 연구를 하다보면 드는 아래와 같은 생각들 종종 하게 됩니다.

 

"아카데믹하게 공부하는 거 같긴한데, 이게 그래서 상업적으로 가치가 있는건가?" 

 

예를 들어, 굉장히 좋은 저널과 학회에 논문들이 쏟아져 나오고 있지만, 종종 "이러한 기술들이 우리 일상생활을 어떻게 바꿀 수 있을까?"라는 생각이 드는 경우가 있습니다. 물론, 논문에서 introduction을 읽다보면 어느 분야에 기여할 수 있는지 파악할 수 있지만, 개인적으로는 내 일상에서 너무 멀리 떨어진 것 같다는 생각을 하기도 합니다.

 

연구라는 것이 굉장히 독창적인 측면도 좋지만,

결국 산업에 기여하고 투자를 받아야 오래 동안 할 수 있습니다.

 

또한, 바로 내 주위 사람들에게 영향을 미칠만한 연구를 하고 있다는 느낌을 받아야 동기부여도 더 잘 될거라고 생각합니다.

 

 

이미지 출처: https://journals.plos.org/plosmedicine/article/figure?id=10.1371/journal.pmed.1001953.g001

 

이미지 출처: https://aeneas-office.org/2018/11/20/penta-project-creates-secured-digital-connected-healthcare-devices/

 

 

이러한 노력의 일환으로 딥러닝 분야에서는 큰 딥러닝 모델 용량을 하드웨어 수준에 맞추도록 줄여주는데, 이를 Network Compression 이라 합니다.

 

우선 Network Compression 기술들에 대해 알아보기 전에, 이러한 기술들의 needs가 커질 수 밖에 없었던 여러 현상들과 관련 용어들을 다루는 글을 기재하도록 하겠습니다. 왜냐하면...

 

"기술을 배운다라는 것은 주변 산업의 트랜드를 따라가는 것부터 시작이기 때문이죠!"