인공지능 - 내 머릿속에 계획이 다 있어

XAI(Explainable AI) - 블랙박스를 들여다보자

2022. 12. 16.

이 메일이 잘 안보이시나요?

새로운 정보를 전해 드리는 소이뉴스입니다.

안녕하세요, 구독자님.

따뜻한 하루 잘 보내고 계신가요?

어느 덧 한해의 마지막인 12월 연말도 머지 않았습니다. 저는 이래저래 쌓인 일들을 처리하느라 정신없었던 탓에 한해가 어떻게 지나갔는지도 모르고 지냈습니다. 또 이렇게 나이만 한 살 더 먹는군요... 그나마 최근 한국인의 표준나이를 만나이로 계산하기로 했다고 해서 1~2년 정도 젊어진 것 같았는데 그 사이 다시 시간에 따라 잡히고 말았습니다. :-(

얼마 전 유튜브 숏박스 채널에 올라와 있는 '도둑들 - 도주'란 제목의 영상을 봤습니다. 등장하는 2명의 도둑 중 한 명은 약싹빠르고 한 명은 약간 덜떨어져서, 한명이 다른 한명을 이용해 먹는 것으로 두 캐릭터가 설정되어 있습니다. 내용 중에 약싹빠른 한 명이 '내 머릿속에 다 계획이 있어', '이렇게 해가지고 이렇게 하면 이렇게 해서 이렇게 하면 될 것 같은데... .' 라고 얘기를 했을 때 상대방 도둑이 '나한테도 그 계획을 공유해줘.', '내 머릿속엔 없어' 하는 대사를 합니다.

뜬금없는 유튜브 상의 웃긴 영상 얘기냐구요? 그건 소이뉴스에 올리는 글의 주제인 '인공지능'의 속성 가운데 비슷한 점이 있기 때문입니다. 대부분의 인공지능은 자기 속을 들여다보여 주지 않거든요. 예측을 잘 하는 모델을 개발한 연구자들도 이 녀석이 어떻게 예측을 해 냈는지를 통계적으로만 추정할 뿐, 매 예측마다의 예측에 대한 논리적인 판단로직을 설명하는 것이 어렵다고 합니다.

오늘은 이렇게 비밀에 싸인 인공지능을 바라보는 시각과 문제를 해결하고자 하는 노력에 대해 알아보도록 하겠습니다.

설명가능한 인공지능 (eXplainable AI)

설명가능한 인공지능 (XAI, eXplainable AI)란?

XAI에 대한 정의는 기관 별로 약간씩 차이가 있었습니다. 하지만 공통적인 부분을 추려내면 '인공지능에, 예측 결과에 대한 이유와 그 과정에 대한 설명 능력을 부여하는 것'이라고 할 수 있습니다. 결국은 인공지능의 판단에 대한 투명성, 신뢰성을 부여해서 AI가 가질 수 있는 편향(bias)를 개선하기 위 작업인 셈입니다.

딥러닝으로 알려진 인공지능의 다양한 모델들은 '블랙박스'로 일컬어집니다. 프로그램화된 로직을 이용한 의사결정을 하던 기존 방식에서는 처리 과정이 그대로 드러나 있었지만, 딥러닝 모델은 입력 데이터를 넣으면 결과물을 바로 내 놓습니다. 수많은 데이터를 학습해서 인공지능이 스스로 만든 로직을 사용해서 말이죠. 그래서 이 로직을 혹은 그 로직을 사람들이 짐작할 수 있도록 설명할 수 있도록 하는 것이 바로 XAI입니다. 검색해 보니 XAI 라는 용어는 2004년 Van Lent라는 사람에 의해 전문용어로 자리 잡았다고 합니다. 개념 자체는 1970년대에 나오기 시작했구요.

XAI를 통해 얻고자 하는 것이 있나요?

간단히 말하면 'AI가 잘 하긴 하는데 믿을 수가 있어야지' 때문이 아닐까 싶습니다. 이런 신뢰에 대한 이슈는 AI가 아닌 사람들 간에도 종종 생깁니다. 가짜뉴스에 대한 펙트체크가 그런 예라고 할 수 있죠. 그런데 AI의 경우는 약간 다른 면이 있습니다. 펙트체크는 외부에서 판단 근거를 수집하기가 용이한 반면 AI 내부의 판단에 대해서는 그럴 수가 없기 때문이죠. 결국 XAI는 AI가 판단을 내리는 과정 중에 '펙트체크'를 위한 흔적을 남기고 그것을 이용해서 사람들이 이해할 수 있도록 설명하는 과정이 필요하게 되는 것입니다.

앞서 얘기한 것처럼 AI 자체는 블랙박스처럼 판단의 근거와 과정을 알기 어렵습니다. 그런 상황에서 AI는 생활 전반에 스며들고 있죠. 사람들은 AI의 도움을 받아가며 중요한 판단을 하기도 합니다. 금융, 의료, 자율주행 등등이 대표적인 예죠. 그런데 만약 이런 AI의 판단이 제대로 된 근거가 없이 편향되어 나온 결과라면 어떻게 될까요? 암진단을 하는데 영상에서 암을 발견했지만 없다고 판정을 내린다면, 혹은 자율주행차량에서 앞에 보행자가 있는데도 없다고 판단을 내린다면... 그 결과는 끔찍할 것입니다. 그래서, 예측 결과가 통계적인 수준에서 제대로 나온다고 만족하지 않고 그 과정이 사람들이 보기에도 수긍이 가는 것인지를 판단할 수 있도록 하자는 것입니다.

XAI는 위와 같이 AI 모델의 신뢰성을 확보하는 것 외에도 AI 모델의 처리 과정을 이해하게 되면 알고리즘을 개선하거나 데이터를 어떻게 사용해야 하는지 등에 대한 인사이트를 얻을 수 있게 된다는 추가적인 장점도 가질 수 있습니다.

그래도 XAI에 대해 확 와닿지 않는데요...

예... 아무래도 그럴거라 생각했습니다. 저도 그랬거든요... 다행히도 XAI 관련해서 핵심적인 역할을 했던 미국방성의 DARPA(Defense Advanced Research Projects Agency)에서 XAI에 대한 개념을 소개한 이미지가 있는데 이를 참고해 보시기 바랍니다.

사진) Explainable AI (XAI) Concept presented by DARPA. (Image courtesy of DARPA XAI Program [21]) (DARPA의 원본 이미지와는 약간 다르긴 한데 이곳에서 가져왔습니다)

XAI 관련 규정이나 사례는요?

사람들은 앞으로 점점 더 많이 AI에 의존하게 될 것입니다. 아니 어느 정도는 벌써 그렇게 된 지도 모릅니다. 이렇게 AI의 생활 '스며듦'의 정도가 커질수록 AI의 예측 과정에 대한 명확한 설명이 필요하게 될 것입니다. 비단 개인 뿐만 아니라 기업, 정부/공공에서도 마찬가지겠죠.

미국의 경우, 개인화 보험 서비스에 적용되는 AI에 대해 XAI를 요구하고 있고, EU의 경우 AI 알고리즘의 처리 로직을 포함한 설명을 필요로 하도록 GDPR(개인데이터보호규칙)이 디지털 서비스법 등에 해당 내용들이 들어 있다고 합니다. (출처)

국내에서는 금융위원회에서 금융분야 AI 활성화를 위한 제도 마련을 위해 XAI 관련 논의를 본격적으로 하고 모범사례를 만드는 작업을 하고 있습니다. (출처) 민간에서는 IBK기업은행이 기업예측모델에 적용한 케이스나

국내에 XAI 솔루션을 보유한 기업이 있나요?

국내에도 이 분야를 연구/개발하는 기업들이 다수 있으며 그 예로 이글루시큐리티나 인이지(대표 최재식) 같은 곳을 들 수 있습니다. 인이지 같은 경우에는 인피니트 옵티멀 시리즈(INFINITE OPTIMAL SERIES™)라는 XAI 기반 공정예측 솔루션을 개발했는데 중화학 제조공정 프로세스에 적용된다고 합니다. (기사)

XAI를 위한 기술들

XAI와 관련된 기술은 어떤 것들이 있나요?

검색해 보니 많은 기술들이 있었는데... 음... 하나같이 이해하기가 쉽지가 않았습니다. ^^; 일단 조사 결과를 정리하는 차원에서 간단하게 요약만 해 보겠습니다.

결과를 역추적해서 입력 데이터의 feature의 기여도를 계산하는 접근방법
AI가 예측할 때 어디에 주목했는지를 알아내는 접근방법
예) LIME (Local Interpretable Model-Agnostic Explanations)나 SHAP (SHAPley Additive exPlanations), CAM (Class Activation Mapping)과 같은 기법들 있음
AI 모델이 수행하는 Task를 세부적으로 분해해서 각기 다른 AI 모델들이 실행하도록 하는 접근방법

위에 언급된 것들 가운데 일부에 대해 조금 들여다 보면 다음과 같습니다.

LRP (Layer-wise Relevance BackPropagation)
AI 모델에서 결과를 역추적해서 입력 데이터 상의 개별 feature에 대한 기여도를 계산하는 방법입니다.
CAM (Class Activation Mapping)
이미지 분석에서 많이 사용되는 CNN 모델의 내부를 분석할 수 있는 도구로, Conv 레이어 뒤에 적용하여 뉴럴넷이 이미지의 어떤 영역에 포커스해서 판단을 내리는지를 알 수 있도록 해 줍니다. 이 방법이 가지는 단점 (예:네트워크 구조 변경해야 하거나 마지막 Conv층에만 적용 가능 등) 개선한 것이 Grad-CAM입니다.
LIME(Local Interpretable Model-Agnostic Explanations)
모델의 개별적인(또는 국지적인) 예측을 설명하기 위한 기법으로 대상 모델 외부에서 입력/출력에 대한 결과를 설명할 수 있는 로컬 대체 모델(Local Surrogate model)을 사용해서 설명하는 기법으로 이곳에 잘 설명되어 있습니다.
SHAP (SHAPley Additive exPlanations)
게임이론에서 나온 Shapeley 값의 수학적 개념을 이용해서 특정 feature가 예측결과에 미치는 영향도를 벡터로 표현하는 방식으로 이를 위해 feature들을 추가/제거한 dataset을 만들고 그것들을 이용한 영향도를 측정합니다.

XAI에 대해 더 많은 것을 알고 싶어요.

인공지능 서비스의 배포와 운영 시 도움이 필요하신가요?

(주)소이넷은 인공지능 서비스를 제공하는 기업들 가운데 서비스 배포와 운영에서 어려움을 겪고 계신 곳에 도움을 드릴 수 있습니다.

혹시 구독자님의 회사는 다음과 같은 어려움을 겪고 계시지 않나요?

AI 모델을 개발하고 학습 후 서비스를 위한 성능 (Accuracy)는 달성했는데, 정작 최적화 엔지니어가 없어서 어플리케이션, 서비스로의 배포를 위한 실행최적화를 못하고 있어요!
AI 서비스를 이미 제공하고 있지만, 비싼 클라우드 GPU 서버 인스턴스 사용료가 부담이 되네요. 흠... 경비를 절감할 수 있는 방안이 없을까?
서비스에 적합한 공개 SOTA 모델이 있지만 그대로 가져다 쓰기에는 우리 쪽 어플리케이션에 접목하기도 어렵고 운영 비용도 많이 들 것 같은데 어쩌지?

그렇다면 언제든 아래 연락처로 문의 주세요. 함께 해결책을 고민해 드리겠습니다.