인공지능의 활용 - 엣지 AI에 대해 알아봅니다

클라우드 서버 없이 현장에서 실행되는 인공지능

2022. 11. 4.

이 메일이 잘 안보이시나요?

새로운 정보를 전해 드리는 소이뉴스입니다.

안녕하세요, 구독자님.

11월 첫 금요일을 잘 보내고 계신지요?

최근 저는 아침 출근길에 집 주변의 경치를 핸드폰 카메라에 담는 습관이 생겼습니다. 저물어 가는 가을의 나뭇잎과 하늘의 색조화가 곱기도 하고 너무 빨리 지나가 버리는 시간을 잠시라도 잡아두고 싶은 아쉬움 때문이랄까요? 기껏해야 저장된 사진을 몇 개월이 지나 문득 떠오를 때마다 한 번씩 꺼내보는게 다겠지만 그래도 들여다 볼 수 있는 추억거리가 늘 곁에 있다는 것은 한편으론 든든한 느낌을 가져다 주기도 합니다.

늘 곁에 있다는 것... 우리가 다루고 있는 인공지능의 세계에도 이런 것이 있죠. 바로 엣지AI (Edge AI)라고 부르는 것인데요. 오늘은 Edge AI가 무엇이고 이것이 우리의 생활 주변에서 어떻게 활용되고 있는지를 역시나 가볍게 한 번 알아보도록 하겠습니다.

PS.지난 주 서울 이태원에서는 가슴 아픈 소식이 전해져 왔습니다. 삼가 고인의 명복을 빕니다. 그리고 다치신 분들의 몸과 마음의 쾌유도 함께 기원합니다.

엣지AI (Edge AI)

엣지AI (Edge AI)란

Edge란 영어로는 '가장자리'를 의미하는데, 이를 IT 관점에서 풀어보면 클라우드 등이 아닌 실제 '데이터가 만들어지는 네트워크 상의 맨 끝단'을 의미한다고 할 수 있습니다. 마치 인터넷이라는 거대한 망의 맨 끝 마디마디에 붙어 있는 최종 사용자 주변과 같은거죠. 그래서 어떤 곳에서는 '클라우드가 아닌 분산된 로컬 위치에서 프로세스가 실행되는 것'으로 설명하기도 합니다.

Edge AI란 이렇게 분산된 Edge 기기 혹은 가장 근접한 로컬장비/서버에서 AI 프로세스가 직접 실행되는 것을 말합니다. 사용하는 컴퓨터 장비의 하드웨어 사양을 가지고 엣지냐 아니냐를 구분하는 경우가 가끔 있는데 이는 정확한 해석은 아닙니다. 소형 서버나 PC와 같은 장비도 Edge AI 장비로 사용될 수 있기 때문이죠. 사양보다는 동작하게 되는 위치가 데이터가 직접 생성/관리되는 위치(주로 서버가 아닌 로컬 환경)이냐 아니냐가 더 중요한 구분 포인트가 된다고 할 수 있겠습니다.

Edge AI는 어떻게 등장하게 되었나요?

본격적인 AI의 등장이 다층 신경망 기술과 같은 소프트웨어 측면의 발전과 컴퓨팅 인프라 등 하드웨어 측면의 발전이 결합된 결과 덕분이라는 것은 대부분 알고 계실 것입니다.

Edge AI는 여기에 센서기술의 발달과 이를 기반으로 한 IoT(Internet of Things) 기기의 확대, 그리고 이런 기술들이 다양한 산업 영역에 적용되어 데이터가 폭발적으로 생성/수집/관리되기 시작하고(빅데이터) 이를 분석할 필요성이 대두되면서 등장하게 되었다고 볼 수 있습니다. (참고로 AIoT는 AI와 IoT가 함께 결합된 단어)

주변에서 볼 수 있는 Edge AI는 어떤 것이 있나요?

Edge AI는 우리 생활 곳곳에서 활용되고 있습니다. (스마트폰의 사례는 제외)

가정 : 음성비서 역할을 하는 스마트 스피커(예:알렉사나 카카오스피커 등)나 스마트센서, 가정용 영상기반 화재감지기, 반려동물 자동 먹이 공급기 등등
교통 분야 : 스마트 횡단보도, 스마트 가로등, 자율주행차량, 차량 내 운전자 행동감지
제조 분야 : 센서 데이터 기반 예지정비 장치 (이상징후 감지), 로봇제어, 실시간 불량감지, 출입자 식별, 마스크 착용, 안전용구 착용 검사 용 키오스크
농축산업 분야 : 식물생장관리 용 수분공급장치, 스마트 축사 모니터링
건설 분야 : 중장비 주변 작업자 감지 및 경고 (예:ViCAS)
보안 분야 : 침입, 화재 감지 기능 내장 CCTV 카메라
헬스케어 분야 : 영상기반 병변 판별 장치 (X-ray, 초음파, MRI 등등), 스마트 피트니스 용 기기 (매직 미러 등등)
안전분야 : 드론을 이용한 산불감지, 인명구조
기타 등등 ... 적용되는 곳이 너무 많아서 이만 하겠습니다.

(사진 출처) https://vicas.ai.livnsense.com/

Edge AI는 어떤 특징이 있나요?

Edge AI는 적용되는 장비나 용도, 적용 방식 등이 다양해서 특별히 정해진 바가 있는 것은 아닙니다. 다만, 다음과 같은 몇가지 공통점은 있습니다.

주로 분산된 환경에서 사용됩니다.
개별 Edge AI 장비는 제한된 AI처리 성능을 가집니다.
(그렇지 않으면 많은 수가 배치될 경우, 비용 측면에서 문제가 됩니다)
개별 Edge AI 장비는 사용 목적에 맞는 AI모델과 어플리케이션에 맞춰져 있는 경우가 많습니다. (단, 배포 모델을 달리해서 다른 동작을 가능하게 할 수 있는 경우도 있습니다)
제한된 성능이나 리소스에 맞춰 경량의 AI모델을 적용하는 경우가 많으며, 최고의 효율을 위해 AI모델의 Optimization이 중요한 요소가 됩니다.

Edge 대신 서버에서 AI 분석을 다 하면 되지 않나요?

흠... 예로 일반적인 AI 기반 지능형 CCTV 서비스를 생각해 볼까요? 기존의 지능형 CCTV는 IP카메라의 영상이 저장분배 서버로 옮겨지고 영상분석 서버가 이 영상을 AI 모델(혹은 분석 알고리즘)을 이용해서 분석합니다. 카메라는 단순히 영상을 수집만 하고 실제 AI 분석은 모두 서버에서 진행되죠. 어찌보면 지극히 당연해 보입니다.

하지만, 카메라의 수가 많아지고 거기에 카메라의 해상도까지 높아진다면 어떻게 될까요? 수많은 카메라에서의 영상이 서버로 실시간 전송되기 위해서는 높은 대역폭의 네트워크망이 필요하고 서버 쪽에서도 엄청난 규모의 스토리지와 많은 수의 고사양 분석 서버가 필요하게 될 겁니다. 그런데... 수집된 대용량의 영상 가운데서 정작 감지를 해야 하는 부분이 아주 일부라면 시스템 구축에 소요된 비용의 상당 부분은 낭비가 되는 셈입니다.

이때 Edge AI가 도입되어, IP 카메라에서 직접 사람이나 차량을 감지한 후 처리해야 하는 조건일 때만 서버로 데이터를 전송한다면 네트워크 대역폭의 낭비를 없애고 서버의 스토리지와 영상분석을 위한 고성능 분석서버의 비용을 대폭 절감할 수 있게 되겠죠?

Edge AI의 장점을 요약 정리해 주세요.

몇 가지 장점을 열거해 보겠습니다.

우선 네트워크를 통해 클라우드나 서버 쪽으로의 데이터 전송을 최소화하여 네트워크 사용 대역폭을 줄이고 이로 인해 통신비와 클라우드 서버 비용을 절감할 수 있습니다.
민감한 데이터가 외부로 전송되지 않기 때문에 데이터 보안 측면에서 유리합니다. 물론 Edge용 장비가 자체적으로 높은 보안 설정을 가지고 있다는 전제하에서 입니다.
현장, 즉 로컬 환경에서 동작하게 되므로 높은 응답성이 보장됩니다. 서버로 네트워크 전송을 하고 결과를 받아오는 과정에서의 지연이 없기 때문이죠. 실시간 운용이나 빠른 응답 시간이 중요한 영역에 적합한 이유이기도 합니다.

Edge AI 장비

Edge AI면 다 임베디드 보드에서 돌아가는 것 아닌가요?

그건 아닙니다. 적용되는 장비를 보면 PC급도 많답니다.

그럼 주로 사용되는 Edge AI 장비는 어떤 것이 있나요?

Edge 장비로 사용되는 것에는 PC, 소규모 서버 장비, Appliance (H/W, S/W 일체형) 장비, 임베디드 보드 등이 있습니다. 이 가운데 임베디드 보드를 살펴 보면 아래와 같은 것이 있습니다.

Nvidia Jetson 시리즈 (Nano, TX2, NX, Xavier, Orin 등)
Raspberi Pi 보드, 최근에는 기존의 개발보드 대신 CM4(Compute Module 4) + base board 형태로 판매
Google Coral Dev Board
Intel Movidius 기반 보드
Rockchip (예: RK3399 Pro 등) 기반 보드 등등
기타 ESP32 등 RISC V 기반 혹은 MCU (microcontroller unit) 기반 보드

Edge AI 장비에서 AI 추론을 위해 사용되는 칩셋은 어떤 것이 있나요?

Edge AI 장비에는 다음과 같은 하드웨어가 사용됩니다. 대량으로 제작할 경우에는 ASIC, SoC 방식이 적용되는데 그렇지 않은 경우에는 시중에 판매되는 Edge AI 보드를 직접 이용하거나 필요한 인터페이스만 노출할 수 있도록 자체 설계한 base board를 제작하고 여기에 상용 AI모듈을 탑재해서 사용하는 경우가 대부분입니다.

CPU (ARM, Intel 기반), GPU (Nvidia, AMD 등)
FPGA (field programmable gate array)
ASIC (Application Specific Integrated Circuit)
SoC (System on Chip)

Edge AI용 보드 구입 시 유의할 부분이 있을까요?

제일 손쉽게 구할 수 있는 보드인 라즈베리파이와 Jetson Nano에 대해 가격 측면과 적용하는 기술 측면에 대해 언급해 보겠습니다.

가격 측면
최근 반도체 공급망 이슈 때문에 예전에는 손쉽게 구할 수 있었던 장비들이 아예 구하기 힘들어졌거나 구할 수 있더라도 아주 높아진 가격을 주고 사야하는 경우가 많아졌습니다. 예를 들어 라즈베리파이의 경우만해도 RPI-4B 4GB 모델이 몇년 전에는 5~6만원 정도면 구할 수 있었는데 한때는 10만원대 중반을 훌쩍 넘어서는 가격이 되기도 했습니다.
Nvidia의 Jetson 시리즈 중 Nano 의 경우는 15만원 정도에서 개발킷을 구매할 수 있었는데 작년에는 아예 주문을 넣어도 받을 수 없는 상황이 되기도 했습니다. 최근에는 다시 물량이 풀리는 것 같습니다. 다만, 예전처럼 개발킷 자체로는 구입할 수가 없고 Jetson Nano 모듈 + 베이스보드 형태로 구매를 해야 하는 것으로 알고 있습니다. 이 둘을 적용하면 가격도 기존 대비 상당히 올라갈 수 밖에 없죠.
기술 측면
라즈베리파이의 경우, 4버전에서는 장착된 GPU (VideoCore)를 활용하기 위한 OpenCL이 공식 지원되지 않아 CPU을 이용한 AI 모델 추론을 하는 경우, 실행속도가 다소 느릴 수 있습니다. Nvidia Jetson 시리즈 (Nano, TX2, NX, Xavier 등)는 PC에서와 같이 CUDA가 지원되기 때문에 빠른 AI 모델의 추론이 가능합니다. 다만, 전체 구성 시 좀 더 비싸고, 전력소모, 열 발생이 다른 임베디드 장비 대비 높다는 단점이 있습니다.

Edge AI에 대해 좀 더 알아보고 싶네요.

제가 인터넷에서 찾은 링크를 몇 개 올려 보겠습니다.

Edge AI 적용 예시

Edge AI를 임베디드 보드에 적용한 사례가 있으면 소개해 주세요.

아래 사진은 코로나 바이러스가 한창 퍼지기 전, 저희가 제작해 본 Edge AI 데모 장비입니다. 당시 Jetson Nano 4GB 보드와 Lepton 열화상센서가 사용되었고 AI 모델로는 안면감지(RetinaFace)+안면식별(ArcFace)+마스크감지(EfficientNet)이 적용되었습니다. 제한된 리소스이긴 했지만 SoyNet 최적화를 통해 다수의 모델을 동시에 동작시켜서 효과를 봤던 케이스라 할 수 있겠습니다.

인공지능 서비스의 배포와 운영 시 도움이 필요하신가요?

(주)소이넷은 인공지능 서비스를 제공하는 기업들 가운데 서비스 배포와 운영에서 어려움을 겪고 계신 곳에 도움을 드릴 수 있습니다.

혹시 구독자님의 회사는 다음과 같은 어려움을 겪고 계시지 않나요?

AI 모델을 개발하고 학습 후 서비스를 위한 성능 (Accuracy)는 달성했는데, 정작 최적화 엔지니어가 없어서 어플리케이션, 서비스로의 배포를 위한 실행최적화를 못하고 있어요!
AI 서비스를 이미 제공하고 있지만, 비싼 클라우드 GPU 서버 인스턴스 사용료가 부담이 되네요. 흠... 경비를 절감할 수 있는 방안이 없을까?
서비스에 적합한 공개 SOTA 모델이 있지만 그대로 가져다 쓰기에는 우리 쪽 어플리케이션에 접목하기도 어렵고 운영 비용도 많이 들 것 같은데 어쩌지?

그렇다면 언제든 아래 연락처로 문의 주세요. 함께 해결책을 고민해 드리겠습니다.