안녕하세요

이번 글에서는 Edge Computing에 대해 설명드리려고 합니다.

 

 

1. Edge Computing 등장 배경

 

1-1. 클라우드 서버의 과부하

지난 AIoT 글에서 언급했던 것 처럼, "5G 기슬의 발전 + AI 기술(영상처리, 음성처리)과 접목한 IoT"로 인해 대용량 데이터들이 빠르게 클라우드 서버로 전송된다고 말씀드린바 있습니다.

 

https://89douner.tistory.com/243

 

1. AIoT란? (Feat. IoT 개발 프로세스)

안녕하세요. 이번 글에서는 제 경험을 먼저 이야기한 후, AIoT에 대해서 설명해보려고 합니다. 0. AIoT에 관심을 갖게 된 계기 제가 전기전자컴퓨터(EECS) 소속으로 석사를 할 당시에 다양한 연구실

89douner.tistory.com

 

이미지 출처: https://medium.com/gowombat/iot-simple-iot-with-free-cloud-solutions-tutorial-76ac5cf6e5a0

 

 

기본적으로 AI 기반 모델들은 연산량이 많아 고성능 컴퓨터 기반으로 모델링 되었습니다. 

그렇기 때문에, device(하드웨어: 센서 등)에서 얻은 데이터들은 클라우드에 위치한 고성능 서버 컴퓨터로 전송되고, 전송된 데이터는 해당 컴퓨터에 탑재된 AI 모델을 이용해 처리하게됩니다.  

 

물론 Cloud에서 데이터 과부하가 발생하는 것을 막기위해 FOG라는 것을 두어, 중요한 데이터를 선별하는 변화를 꾀했지만, 이 역시 완전한 해결책은 아니었습니다. → Fog 컴퓨팅 관련링크

 

이미지 출처:  https://www.imagimob.com/blog/edge-computing-needs-edge-ai

 

결국, 클라우드 서버에 몰리는 방대한 데이터로 인해 발생하는 트래픽 문제를 해소하기 위해 Edge Computing이라는 용어가 등장하게 됩니다.

 

 

 

1-2. 느린 Response time

기본적으로 데이터 양이 많으면 클라우드까지 왔다갔다 하기에 시간이 오래 걸릴 수 있습니다.

 

이미지 출처: https://www.researchgate.net/figure/Computing-devices-accessing-cloud-applications-may-face-slow-response-time_fig1_301784764

 

그런데, 단말기(edge)에서 AI 기법을 적용시키는 경우 고속 reponse time이 필요합니다.

 

예를들어, 아이의 이상행동을 감지하거나, 자율주행자동차의 경우 기기 자체에서 AI모델을 training(학습)하고 inference(추론)할 수 있게 해주어야 합니다.

 

이미지 출처: https://www.banggood.com/Xiaovv-C1-1080P-WIFI-H_265-IP-Camera-Baby-Infants-Monitor-2MP-150-Super-Wide-Angle-Baby-Sleep-Care-Crying-Alarm-Push-Two-way-Audio-IP-Camera-p-1765180.html

 

이미지 출처: https://www.dreamstime.com/stock-illustration-autonomous-driverless-car-automobile-sensors-use-self-driving-cars-camera-data-pictures-radar-lidar-image69567133

 

 

 

 

 

2. Edge Computing 이란

위에서 언급한 것처럼, edge device 자체에서 AI모델을 training(학습)하고 inference(추론)할 수 있게 해주는 기술을 edge computing이라고 합니다.

 

이미지 출처:  https://www.imagimob.com/blog/edge-computing-needs-edge-ai

 

 

이러한 Edge computing을 가능하게 했던건 역시 하드웨어 기술의 발달 때문이었습니다.

  • 집적기술의 발달로 인한 AI chip 발전이 가능해짐
  • IoT와 같은 Device AI chip (ex; Tegra X)이 들어갈 수 있기 때문에, 머신러닝이 가능
  • 이러한 추세는 sensing과 관련된 IoT 디바이스들을 좀 더 intelligent하게 만들 수 있게 됨
  • Smart phone에서는 GPU, CPU 통합 개념인 AP(Application Processor)라는 on-device가 있다.
  • Qualcomm, Apple, Samsung, TSMC, NVIDIA 같은 회사들이 얽히고 얽혀 있으며, 이러한 회사들의 기술개발 트렌드를 따라가지 못하면 결국 Edge computing을 연구하려는 연구자들은 엉뚱한 연구를 할 가능성이 높아짐

 

(↓↓ 위의 회사들 간의 관계가 궁금하다면↓)

https://89douner.tistory.com/category/%EC%BB%B4%ED%93%A8%ED%84%B0%20%ED%95%98%EB%93%9C%EC%9B%A8%EC%96%B4

 

'컴퓨터 하드웨어' 카테고리의 글 목록

#Interest: World History (The past) #Work: Deep Learning (The future) #Hobby: Music, Sports

89douner.tistory.com

 

 

 

위와 같은 하드웨어의 발전은 더욱 Edge computing 기술을 앞당기고 decentralization을 가속화 시키고 있습니다.

 

 

 

이러한 Edge computing 덕분에 클라우드 뿐만 아니라 기계자체(edge or on-device)에서 AI 기술(ex; CNN)을 적용시킬 수 있게 되었습다

 

또한, 딥러닝 학계에서도 고성능 PC를 기반으로 만든 딥러닝 모델을 축소시키려는 network compression 분야에 많은 노력을 기울이고 있습니다.

 

 

현재는 Jetson Nano와 같은 디바이스에서 딥러닝을 구현하는 edge computing 교육이 보편적으로 자리잡고 있습니다. Edge Computing API도 보기 쉽게 구성함으로써 많은 개발자들이 해당 기술을 배우는데 진입 장벽을 낮추고 있습니다.

 

 

(↓↓↓Edge computing과 Jetson Nano↓↓↓)

https://www.youtube.com/watch?v=VKufXL4FVLA 

 

 

최근에는 DPU라는 개념도 등장했으니 한 번 참고해보세요!

(↓↓↓DPU↓↓↓)

https://www.youtube.com/watch?v=G-Cd50OVcyc

 

 

 

3. Edge Computing을 주목해야 하는

가트너(Gartner) 주식회사는 미국의 정보 기술 연구 및 자문 회사입니다.

 

가트너의 고객은 정부기관 및 IT 기업, 투자 회사 등 다양한데,

매해 가트너에서 전략 기술 트렌드(Gartner Top Strategic Technology Trends)를 발표할때면,

제시된 기술 트렌드를 놓치지 않기 위해 세계적인 IT 회사들이 노력을 기울입니다.

 

이미지 출처: https://www.gartner.com/smarterwithgartner/gartner-top-10-strategic-technology-trends-for-2020/

 

 

 

가트너는 2018, 2019, 2020 3년 연속으로 Edge Computing을 주요 키워드로 뽑을 정도로 중요한 기술이라고 주장했습니다.

 

때문에 많은 IT 기업들이 edge computing을 주목하고, edge computing으로 인해 파생될 효과들을 선점하기 위해 지속해서 주목 할거라 생각합니다. 

 

2018

 

2019

 

2020

 

 

 

 

'Network Compression for AI' 카테고리의 다른 글

3. Network Compression 기술  (0) 2021.06.04
1. AIoT란? (Feat. IoT 개발 프로세스)  (0) 2021.06.04
이 글을 쓰게 된이유  (0) 2021.06.04

안녕하세요.

 

 

"Network Compression for AI" 카테고리에서는 AI 모델을 압축시키는 여러 방법에 대해서 이야기 하려고 합니다.

 

실제로 AI모델 (ex:딥러닝, 머신러닝 모델 등) 들은 하드웨어에 임베딩 하기 힘든 큰 용량을 갖고 있습니다.

 

그래서 몇 년전부터 이러한 AI 모델을 압축시키는 여러 기술들 ("Knowledge distillation, Pruning, etc.) 이 출현하고 있었죠. 

 

 

이미지 출처: https://blog.est.ai/2020/03/%EB%94%A5%EB%9F%AC%EB%8B%9D-%EB%AA%A8%EB%8D%B8-%EC%95%95%EC%B6%95-%EB%B0%A9%EB%B2%95%EB%A1%A0%EA%B3%BC-bert-%EC%95%95%EC%B6%95/

 

 

그렇다면 왜 AI 모델을 하드웨어에 올려서 사용하려는 노력이 왜 필요할까요?

 

 

이미지 출처: https://kr.mathworks.com/company/events/webinars/upcoming/deep-learning-with-raspberry-pi-and-matlab-3251374.html

 

 

 

그 이유는 당연히 산업에 적극적으로 활용하기 위해서 입니다.

 

 

https://www.youtube.com/watch?v=vzBpSlexTVY 

딥러닝 모델이 실제 하드웨어 기기에 배포되는 프로세스 예시

 

 

딥러닝 연구를 하다보면 드는 아래와 같은 생각들 종종 하게 됩니다.

 

"아카데믹하게 공부하는 거 같긴한데, 이게 그래서 상업적으로 가치가 있는건가?" 

 

예를 들어, 굉장히 좋은 저널과 학회에 논문들이 쏟아져 나오고 있지만, 종종 "이러한 기술들이 우리 일상생활을 어떻게 바꿀 수 있을까?"라는 생각이 드는 경우가 있습니다. 물론, 논문에서 introduction을 읽다보면 어느 분야에 기여할 수 있는지 파악할 수 있지만, 개인적으로는 내 일상에서 너무 멀리 떨어진 것 같다는 생각을 하기도 합니다.

 

연구라는 것이 굉장히 독창적인 측면도 좋지만,

결국 산업에 기여하고 투자를 받아야 오래 동안 할 수 있습니다.

 

또한, 바로 내 주위 사람들에게 영향을 미칠만한 연구를 하고 있다는 느낌을 받아야 동기부여도 더 잘 될거라고 생각합니다.

 

 

이미지 출처: https://journals.plos.org/plosmedicine/article/figure?id=10.1371/journal.pmed.1001953.g001

 

이미지 출처: https://aeneas-office.org/2018/11/20/penta-project-creates-secured-digital-connected-healthcare-devices/

 

 

이러한 노력의 일환으로 딥러닝 분야에서는 큰 딥러닝 모델 용량을 하드웨어 수준에 맞추도록 줄여주는데, 이를 Network Compression 이라 합니다.

 

우선 Network Compression 기술들에 대해 알아보기 전에, 이러한 기술들의 needs가 커질 수 밖에 없었던 여러 현상들과 관련 용어들을 다루는 글을 기재하도록 하겠습니다. 왜냐하면...

 

"기술을 배운다라는 것은 주변 산업의 트랜드를 따라가는 것부터 시작이기 때문이죠!" 

 

 

 

'Network Compression for AI' 카테고리의 다른 글

3. Network Compression 기술  (0) 2021.06.04
2. Edge Computing이란?  (0) 2021.06.04
1. AIoT란? (Feat. IoT 개발 프로세스)  (0) 2021.06.04

+ Recent posts