이상징후 감지에 적용되는 인공지능 사례 안녕하세요, 구독자님.
오늘 하루도 보람찬 시간을 보내셨나요?
지난 화요일 새벽 아쉽게도 8강 진출이 좌절되었습니다. 지난 주 기적같은 역전승으로 한껏 들떠 이번에도 혹시나 하면서 기대를 했지만 아쉽게도 승리의 여신은 우리 편이 아니었습니다. 하지만, 이렇게 몇 주간을 기대와 흥분으로 우리들의 가슴을 뛰게 해 준 선수들에게 감사의 마음과 박수를 보냅니다. ^^
이번 소식에서는 이상징후 감지(anomaly detection)와 이를 위해 사용되는 인공지능 기술들에 대해 간략히 알아보도록 하겠습니다. |
|
|
이상징후 감지 (Anomaly Detection) |
|
|
이상징후 감지란?
영어로 'anomaly detection'인데 보통은 '이상감지' 또는 '이상징후감지' 등으로 사용되며, '정상범주(또는 예상치)를 벗어난 다른 패턴이 나타나는 것을 감지'하는 것을 말합니다. 비즈니스 세계에서는 일상적이고 루틴한 업무들이 많고 이들은 대부분 특정한 패턴을 가지게 됩니다. 그런데 그런 것을 거스르는 이상치가 발생한다는 것은 뭔가 새로운 해석과 대응을 해야 한다는 것을 의미하게 되지요. 그것이 부정적이건 긍정적이건 말입니다.
'이상'이라는 단어 때문에 부정적으로 들릴 수도 있는데 항상 그런 것은 아닙니다. 단순한 예로 정상적으로 동작하고 있는 기계에서 나타나는 '이상'은 고장을 의미하겠지만 우주에서 오는 '이상' 신호는 다른 행성에서 생명이 존재할 수 있다는 가능성의 발견으로도 이어질 수 있는 것이기 때문입니다.
이상치(anomaly)라는 것도 적용되는 용도나 기법에 따라 여러 가지 범주로 구분된다고 합니다. (eg. point / contextual / group / low-level / high-level anomaly. 출처)
이상징후 감지에 사용되는 기술
이상징후를 감지하기 위해서 과거에도 많은 데이터 분석 기법이 있었습니다. 수학적인 모델을 만들거나 Rule 기반으로 이상치를 판단하는 방식이 적용되어 많은 정형화된 패턴은 이런 방식으로 걸려졌습니다. 하지만 이전 경험에서 나타난 적이 없었던 것들의 발견은 어려웠죠. 그래서 그 뒤에 대두된 것이 데이터 시각화를 통해 사람이 그것을 보고 insight를 얻고 이상 패턴을 추정할 수 있도록 하는 것이었습니다. (예: Tablue) 한마디로 데이터를 사람이 쉽게 볼 수 있도록 만들고 이상징후 판단은 컴퓨터가 아닌 사람의 뇌에게 일부를 맡긴 것이죠. 그 외에도 로그 분석을 통한 이상징후 감지 등의 기술도 잘 알려져 있습니다. (예: Splunk, Elastic)
이런 방식으로 상당한 효과를 거둔 케이스도 있었습니다. 그 뒤 나타난 것이 머신러닝/딥러닝과 같은 인공지능 기술들입니다.
이상징후 감지에 사용되는 인공지능 기술
이상징후 감지를 위해 사용되는 인공지능 기술은 크게 지도학습, 비지도학습 기반으로 나뉘는데 지도학습은 현업 전문가가 학습할 데이터셋에 '정상', '비정상' 라벨링을 하고 이를 기반으로 예측하는 모델을 만드는 것으로 이미 잘 알고 계실 것입니다.
현실에서는 지도학습 대신 반지도학습(semi-supervised), 비지도학습(unsupervisedb) 방식이 많이 사용됩니다. 이유는 '이상치' 데이터가 정상데이터 대비 극히 적기 때문입니다. 예를 들어 생산라인에서 수집한 센서 데이터 가운데 거의 대부분은 정상 데이터이고 고장 징후를 나타내는 이상 신호는 극히 드뭅니다. 실제로 고장이 나거나 날 상황이 되어야 수집이 가능한텐데 이상치 데이터를 많이 수집할 수 있는 그런 공장이 현실적으로 운영된다면 문제가 되겠죠? 생산라인 외에도 금융거래나 기타 다른 분야에서도 이는 같은 상황입니다.
결국 정상 데이터를 학습 단계에서 사용하여 정상적인 경우의 데이터 분포를 추정하는 모델을 만들어서 입력되는 데이터가 이 분포와 얼마나 다른지 (혹은 거리 상 떨어져 있는지)를 계산해서 지정한 임계치를 넘어서면 이상치로 판단하게 됩니다. 하지만 이상치가 정상데이터 분포를 벗어나긴 했으나 우리가 찾고자 하는 목적(예: 불량 판정)에 맞는 케이스인지 아닌지에 대한 판단을 위해서는 추가적인 작업이 필요할 수 있습니다.
이상징후 감지를 위해 다음과 같은 기법의 딥러닝 모델이 사용됩니다. 용도에 따라서는 시계열, 이미지 이상징후 감지 등으로 다시 구분할 수 있습니다.
- 모델 타입 : AutoEncoder (AE) 계열 / GAN 계열 / One Classs Neural Networks 계열
- 적용 용도 : 시계열 데이터 이상징후 감지 (예: AutoEncoder, GAN/BeatGAN, GNN), 이미지 데이터 이상징후 감지 (예: AnoGAN (2017), GANonaly (2018) f-AnoGAN (2019), ARNet (2021) 등등)
|
|
|
이상징후 감지가 어떤 분야에 적용될 수 있나요?
이상징후 감지는 우리 생활 전반에서 사용되고 있습니다. 다만 평소에 잘 느끼지 못하고 있을 뿐이죠.
- 네트워크 / 사이버 보안 : 해킹이나 디도스 공격 같은 이상패턴 감지, 바이러스 패턴 감지, 네트워크 이상 트래픽 감지
- 금융 : 의심거래 징후 탐지 (Fraud Detection), 주식시장 이상 거래 감지
- 의료 영상 : MRI, CT, X-ray, 초음파 영상에서의 병변 탐지, 뇌파/심장박동 등에서의 이상 징후 감지
- 스마트팩토리/스마트팜 : 센서의 시그널 기반으로 이상 징후 감지, 예측을 통한 장비 고장예측 (예지정비/예지보전)
- 재난 예측/경보 : 지진, 태풍, 화산폭발 등의 이상 현상 징후 감지
|
|
|
TadGAN - 시계열 데이터 이상감지
2020년 TadGAN이라는 모델이 발표되었는데 이 모델은 모델은 여러개의 인자를 가진 Time Series 데이터를 입력으로 받아 비정상적인 패턴의 time segment 를 찾아내는 것을 목표로, 기존 많이 사용하던 AutoEncoder와 GAN 각각의 단점을 보완하기 위해 둘을 혼합하는 방식으로 접근했다고 합니다. 모델 자체는 가볍게 동작해서 드론에 탑재된 센서들로부터 실시간 데이터를 받아서 분석하여 드론의 이상징후를 예측하는 용도 등에 적용되었습니다.
f-AnoGAN - 이미지 이상감지 2019년 발표된 비지도학습 기반의 이상감지 모델로 대규모의 정상(normal) 이미지를 이용하여 GAN (generator & discriminator)을 학습시키고, 동일 데이터로 학습된 encoder를 통해 추론 대상 이미지를 GAN의 latent space에 빠르게 매핑하는 기법을 이용합니다. 이용처로는 이상 데이터를 확보하기 어려운 의료 영상에 적용하는 경우 등이 되겠네요. |
|
|
사진) Anomaly dtection frramwork 설명 ( 출처)
|
|
|
인공지능 서비스의 배포와 운영 시 도움이 필요하신가요?
(주)소이넷은 인공지능 서비스를 제공하는 기업들 가운데 서비스 배포와 운영에서 어려움을 겪고 계신 곳에 도움을 드릴 수 있습니다.
혹시 구독자님의 회사는 다음과 같은 어려움을 겪고 계시지 않나요?
- AI 모델을 개발하고 학습 후 서비스를 위한 성능 (Accuracy)는 달성했는데, 정작 최적화 엔지니어가 없어서 어플리케이션, 서비스로의 배포를 위한 실행최적화를 못하고 있어요!
- AI 서비스를 이미 제공하고 있지만, 비싼 클라우드 GPU 서버 인스턴스 사용료가 부담이 되네요. 흠... 경비를 절감할 수 있는 방안이 없을까?
- 서비스에 적합한 공개 SOTA 모델이 있지만 그대로 가져다 쓰기에는 우리 쪽 어플리케이션에 접목하기도 어렵고 운영 비용도 많이 들 것 같은데 어쩌지?
그렇다면 언제든 아래 연락처로 문의 주세요. 함께 해결책을 고민해 드리겠습니다.
- 메일 : support@soynet.io또는 sales@soynet.io
|
|
|
오늘의 뉴스레터는 여기까지 구독자님, 갑자기 몰아닥친 강추위를 따뜻한 온기 나눔으로 이겨내시길 바랍니다. 다음 번에도 좋은 정보를 가지고 찾아뵙겠습니다. |
|
|
구독해 주시면 좋은 소식, 정보로 보답하겠습니다. |
|
|
주식회사 소이넷 sales@soynet.io 경기 성남시 분당구 성남대로331번길 8 (킨스타워) 1503호
대표전화 : 031-8039-5377
|
|
|
|
|