예술 분야에 스며든 인공지능에 대해 알아봅니다. 안녕하세요, 구독자님.
즐겁고 활기찬 한 주 보내고 계신가요?
"최근 인공지능 분야에서 가장 많이 언급되는 것은 무엇일까?"라고 질문하면 대부분의 사람들은 ChatGPT를 꼽을 겁니다. 마치 혜성같이 나타나 빌보드 1위를 석권해버린 신인가수와 같은 느낌이죠. 작년 말이었으니 4개월 가량 밖에 되지 않았는데 벌써 사람들은 익숙해져 버렸습니다. 어쩌면 이 때문에 ChatGPT의 등장 바로 직전까지 사람들의 가장 큰 관심사가 이미지 생성 AI였다는 것을 다들 잊어버린 것은 아닐까 생각될 때가 있습니다. 예전 소이뉴스에서 이와 관련된 소식을 전한 바도 있었죠. 당시에는 신기한 소식을 전하고픈 마음에 아주 짧게 소개하고 그쳤었는데 지나고나니 이런 트렌드로 인해 영향 받는 분야들에 대한 궁금증이 생겼습니다.
그래서, 이번 소식에서는 예술 특히 미술 쪽에 인공지능이 어떻게 스며들고 있고 이로 인한 영향과 앞으로 어떻게 어떻게 될 것인가에 대한 다양한 의견들을 정리해 보겠습니다. |
|
|
예전에 한번 소개한 내용 아닌가요?
맞습니다. '인공지능 아티스트 활용하기' 에서였죠. 하지만 당시는 Stable Diffusion을 접하고 받은 느낌을 빨리 전해야겠다는 생각 뿐이어서 모델에 대한 소개와 적용 결과만 살짝 언급했었습니다. ^^;
미술 분야라면... 이미지 생성모델에 대한 내용인가요?
미술 분야에서도 인공지능이 활용되는 방식은 다양합니다. 그것들 중에 DALL-E2나 Stable Diffusion, MidJourney 등과 같은 다양한 이미지 생성모델들도 있긴 합니다.
|
|
|
이미지를 생성하는 것과 관련된 인공지능 기술은 어떤 것이 있나요?
이미지 생성과 관련해서 제가 처음 접한 것은 Neural Style Transfer (NST) 쪽이었습니다. 입력된 사진이나 이미지의 내용은 그대로 유지하면서 스타일을 바꿔주는 방식입니다. 입력으로는 원본(콘텐츠) 이미지와 스타일 이미지 이렇게 두 개가 필요하며 출력으로는 원본 이미지에 스타일이 입혀진 혼합 이미지가 나오게 됩니다.
2015년 'A Neural Algorithm of Artistic Style'이란 제목의 논문으로 처음 발표되었는데 발표되자마자 이를 이용해서 스타일 변환해주는 응용 코드나 모바일 앱 등이 잔뜩 출시됐었죠. 지금 보면 스타일만 흉내낸 것으로 단순해 보일지 모르겠지만 당시에는 인공지능을 통해서 이런 것도 가능하구나 하면서 사람들의 이목을 끌었었죠. 개인적으로도 신기해서 고흐와 가쓰시카 호쿠사이의 그림 스타일로 사진들을 많이 바꿔봤던 것 같습니다. 현재도 이곳에서 테스트 해 보실 수 있습니다.
|
|
|
그림 : Neural Style Transfer 흐름도 (출처) |
|
|
이후 VAE (Variational Auto-Encoder)라는 것이 소개되었습니다. VAE는 인코더-디코더 형태로 되어 있는데 인코더에서는 입력된 이미지에서 추출한 인자를 가지고 Latent vector를 구하고 디코더에서는 이를 이용해서 입력 이미지와는 유사하지만 완전히 새로운 데이터를 생성하는 모델입니다.
그 뒤로 이안 굿펠로우가 Generator(생성자:생성모델)와 Discrimator(식별자:분류모델) 이렇게 서로 다른 두개의 적대적 네트워크로 구성된 GAN (Generative Adversarial Networks, 적대적 생성신경망)을 소개했습니다. NVIDIA를 비롯한 많은 기업과 연구기관들이 GAN 기반의 모델을 출시했고 상당한 호응을 받았었습니다. 그 와중에 이를 예술 쪽에 응용한 CAN(Creative Adversarial Networks, 논문)도 등장하게 되는데 CAN에서는 기본 GAN 구조를 활용하되 Discriminator가 art와 style 2개의 클래스를 분류하는 방식으로 구성하여 생성된 이미지가 기존 예술작품의 스타일 (르네상스, 바로크, 인상파 등등)로는 분류되지 않으면서 동시에 예술로 판정되도록 학습하는 방식으로 되어 있습니다. 한마디로 다른 작품이 사용한 기법, 스타일을 따라하지 않고 독창적인 결과물을 만들어 내도록 했다는 것이죠. |
|
|
그림 : CAN 모델의 block diagram (출처) |
|
|
시간은 흘러 잘 아시는 것처럼 DALL-E2, Imagen, Stable Diffusion, MidJourney 등의 Diffusion 모델을 기반으로 한 이미지 생성모델이 소개되었습니다. 그 이전에도 좋은 성능의 모델들이 있긴 했지만 DALL-E2 부터는 사실적이면서도 정교한 이미지를 안정적으로 생성해 내면서 수준 자체가 한 단계 빅점프를 했다는 평가를 받았습니다.
Diffusion 모델은 이미지 데이터에 노이즈를 주입해서 이미지를 생성하고 여기서 다시 노이즈를 제거하는 과정을 반복함으로써 원래의 이미지가 가진 데이터의 분포를 학습하는 방식으로 진행됩니다. 앞서 언급한 이미지 생성모델들의 배경이 되는 기술이고 실제 내부 알고리즘은 많이 복잡해서 이 글에서 언급하기에는 무리가 있을 것 같습니다. 확산모델에 대한 세부적인 설명이 필요하신 분을 위해 링크를 남깁니다. ( Diffusion 모델 설명, Stable Diffusion 설명)
우리나라에서 만든 이미지 생성모델은 없나요?
대표적인 것으로 카카오브레인이 발표한 ' 칼로 (Karlo)' 가 있습니다. 1억 8000만장의 데이터를 학습시켜 나온 AI 화가 서비스인데 입력된 텍스트 내용에 맞춰 이미지를 생성하거나 이미지를 변형(변환)하거나 혹은 이미지 상의 내용을 편집하는 등의 기능을 제공합니다. 해당 기능들은 REST API를 이용해서 사용 가능하며 생성 시 사용하게 되는 텍스트나 생성된 이미지가 선정성 시비에 휘말리지 않도록 하는 필터링 기능도 추가되어 있다고 합니다. 최근에는 이를 기반으로 ' AI 프로필' 서비스도 출시했습니다.
인공지능을 이용해서 만든 미술 작품들 가운데 주목할만한 것이 있나요?
두 가지 예를 들어 보겠습니다. 하나는 'The Next Rembrandt'라는 프로젝트이고 또 다른 하나는 미국의 미술 컨테스트에서 1위를 수상했던 인공지능 작품에 대한 것입니다.
'The Next Rembrandt'
2016년 Microsoft가 공개한 프로젝트로 ING(금융기관), 램브란트 박물관 등이 참여했습니다. 17세기 네달란드의 화가 렘브란트의 그림들 346개를 3D 스캐너를 이용해 이미지와 표면 요철 등등을 포함한 작품 전반의 데이터를 수집하고 인공지능으로 색감, 구도, 터치감 등 다양한 특징을 훈련시킨 후 선정된 초상화에 3D 프린터를 이용해서 재현하는 방식으로 진행되었습니다. ( 관련사이트, 관련영상) 그러다보니 최종적으로 나온 것은 디지털이 아닌 실제 유화 미술작품이었고 누가봐도 램브란트의 진짜 작품으로 오해할 정도로 잘 만들어졌다고 합니다. 미술적 감각과는 거리가 좀 있는 저도 영상으로 봤는데 확대된 부분들에서조차 화가의 터치가 숨쉬는 것 같는 착각이 들었습니다. 혹여라도 이런 방식으로 유명 화가의 위작이 만들어질수도 있겠구나 하는 생각도 들었죠.
|
|
|
그림 : The Next Rembrandt 프로젝트 결과물의 일부 캡처 (출처) |
|
|
'Theatre D'opera Spatial'
2022년 8월. 미국 콜로라도 주립 박람회 (Colorado State Fair) 디지털 아트 부문에서 인공지능이 만든 작품이 1위를 차지했습니다. 작품 제출자였던 제이슨 앨런은 인공지능 이미지 생성모델인 MidJourney에 텍스트 문장을 입력해서 생성한 것이라고 밝힌 상태로 응모했고 당시 대회 규정에는 어긋나지 않았기 때문에 최종 우승으로 인정을 받았는데 이후로도 이런 방식을 예술로 인정할 수 있느냐에 대한 논쟁이 끊이질 않고 있습니다. ( 기사)
|
|
|
인공지능이 예술작품을 만들어도 인정받고 있나요?
흠... 인공지능이 예술을 한다는 것에 대해서는 '심리적인 반감'도 있고 '윤리적인 우려' 때문에 아직은 아닌 것 같습니다. 인공지능이 스며드는 다양한 산업들에서 이러한 움직임은 공통적으로 나타나긴 하는데, 예술은 '창의성'이라는 민감한 부분과 관련되기에 온전히 받아들여지는데는 좀 더 많은 시간이 걸릴 것이라 생각됩니다. 하지만 시간이 지나면 결국은 받아들이게 되지않을까요?
인공지능이 만든 예술작품에 대한 논쟁의 핵심 쟁점은요?
우선 생성모델을 이용한 이미지 생성은 텍스트 입력만으로 짧은 시간에 너무도 쉽게 이루어집니다. 그러다보니 과연 여기에 예술적 창작의 과정이 있느냐 하는 것이 쟁점이 될 때가 있습니다. 실제로 Discord에서 MidJourney 등을 이용해 보면 텍스트 프롬프트를 입력하고 십여초 정도 지나면 순식간에 인공지능이 만든 몇 개의 이미지를 얻을 수 있습니다. 제 경우엔 단순히 자료 작성 용으로 활용했기에 예술 활동을 했다고 생각지는 않습니다. 하지만 온전히 예술작품을 만들기 위해서 사용하는 분들의 경우에는 표현하고자 하는 내용을 만들어내기 위해 개인적, 주관적 예술성이 가미된 수많은 경우의 텍스트 프롬프트 조합을 시도하게 되니 그 과정이 예술 창작과정이 된다고 주장할 수도 있을 것 같습니다. 그리고 이 과정은 실제로 앞서 비판받은 것처럼 십여 초의 짧은 시간이 아닌 많은 시행착오를 필요로 하는 상당한 시간이 소요되는 것이 일반적입니다.
또 다른 쟁점은 생성모델의 탄생과 관련됩니다. 대부분의 이미지 생성모델들은 인터넷 상에 공개된 수백~수억개의 이미지를 이용해서 학습하게 되는데 이 때 원본 이미지에서 패턴과 관계성 등을 인식하게 됩니다. 그런데 문제는 이렇게 학습을 한 생성모델이 만들어내는 이미지들이 원작 도용이나 표절의 위험성이 있다는 겁니다. 그러다보니 어떤 비판적인 분은 '인공지능은 단순한 표절기계일 뿐이다'라는 말로 가치를 평가절하기도 합니다. 수많은 음악작품을 접하게 되는 작곡가들이 자기도 모르게 멜로디를 표절하게 될 수 있는 위험과 같은 것인데 확률 기반으로 동작하는 인공지능의 속성 상 충분히 이해되는 위험성이긴 합니다.
이외에도 많은 쟁점이 있겠지만 이 정도만 언급하겠습니다.
인공지능은 그럼 예술가들과 공존할 수는 없는걸까요?
현재의 많은 논쟁을 보며 둘 간의 간극이 크다는 것을 강조하는 분들도 있겠지만 저는 '당연히 가능하다'고 생각합니다. 대부분 신기술이 등장하면 이에 대한 거부감이 강조되는 기간들이 있었고 이 때가 지나면 다시 기존 영역에서 이를 흡수해서 한발짝 더 나아가는 것이 이제까지의 일반적인 흐름이었던 것 같습니다. 예술 분야에서는 사진의 등장이 한 예였죠. 물론 이 예는 아직도 논쟁 중인 주제일 수 있습니다.
관련해서 글들을 찾아 읽다 보니 어떤 도구를 사용했는가 하는 것 보다는 그 속에 '예술성이 녹아 있는가' 하는 것이 더 중요해 보였습니다. 같은 결과물이라도 '예술성'이라는 요소를 녹여 넣으면 어떻게 달라지는지를 보여주는 사례들도 있는데 사진에 대해서는 ' 마리아 스바르보바'의 작품에 대한 글에서, 그리고 인공지능에 대해서는 ' 알렉산더 레벤'의 작업과정에 대한 글에서 찾아볼 수 있습니다.
인공지능이 예술 분야에서 달리 도움이 될만한 분야는요?
대규모 예술품 데이터셋과 사용자들의 선호를 분석하여 개인화된 추천 큐레이션을 만들 수 있습니다. 좋아하는 예술적 스타일, 과거 선택하고 감상했던 과거의 맥락 등이 고려 대상이 되겠죠. 아마도 이런 기술이 적용되어 있으리라 예상되는 한 사례로 ' Google Arts & Culture'를 들 수 있습니다. 해외로 직접 여행 갈 수 있는 상황은 아니지만 지구상의 많은 나라들의 문화, 예술작품에 대한 갈증이 생길 때 활용할 수 있는 앱이죠. 이를 이용하면 해외 유명 박물관이나 미술관 등의 내부를 돌아보면서 작품 감상을 하실 수 있습니다. 물론 직접 보는 것만은 절~대 못하겠지만요... |
|
|
사진: Google Arts and Culture 사이트 (출처) |
|
|
개인이 아닌 예술 전시를 주관하거나 작품을 거래하는 쪽에도 적용이 가능할 것 같네요. 예술 작품들의 색상, 구성, 스타일과 같은 특징들을 추출/분석하고 이를 기반으로 패턴이나 스타일, 작품들간의 관계성 등을 고려한 미술품 비평, 전시회를 위한 작품 배치나 관람 동선을 제시하거나 위작을 식별하는 등의 분야에 말이죠. 또 예술가 자신이 작품 활동에서 활용할 경우 조언을 해 주는 조력자 (자비스 같은 인공지능 어시스턴트 컨셉?)도 나올 수 있겠죠. 이 가운데 일부는 이미 실제 활용이 되고 있습니다.
인공지능 기술이 예술 활동에 활용할 수 있는 방법은 없을까요?
저는 개인적으로 뭔가를 섞고 나서 그것을 가지고 새로운 것을 만드는 것을 좋아합니다. 한 분야에 도통하지 않다보니 이것저것 융합해 보는 습관이 생겨서 그런지도 모르겠지만요. 예술과 인공지능이라는 기술 분야에서도 그런 상상을 해 보게 됩니다. 인간 예술가와 인공지능 간의 협업이라는 측면으로 말이죠. 예술가들은 작품 활동 시, 표현 방식 등을 보완하기 위해 새로운 매체와 기술을 실험해 온 경험들이 있었으니 인공지능을 통한 디지털 페인팅 또한 좀 더 넓은 의미의 예술 활동을 위한 도구로 여기고 수용해서 더 새롭고 창의적인 예술작품을 탄생 시킬 때 활용하는 것이 바람직하지 않을까 생각합니다. |
|
|
인공지능과 예술 간의 관계에 대한 추가 자료를 소개해 주세요.
제가 찾아본 것들 가운데 일부를 알려 드리면 다음과 같습니다.
- 예술계를 떠들썩하게 달구고 있는 ‘AI 화가’, 이미지 생성 AI (KISTI의 과학향기, 2023.1)
- [생성모델] 세상에 없던 무언가, AI 생성모델 (마인즈앤컴퍼니, 2022.8~2023.2) (1편, 2편)
- 인공지능 예술: AI는 새로운 예술을 탄생시킬까? (BBC 뉴스 코리아, 2022.12)
AI로 창작활동을 해 오고 있는 예술가 알렉산더 레벤의 사례 소개
- [Opinion] 사진은 예술이 될 수 있을까? [시각예술] (아트인사이트, 2020.4)
사진작가 마리아 스바르보바의 사례 소개
- '창작'하는 AI‥예술가는 살아남을 수 있을까? (2023.02.20/뉴스데스크/MBC)
- 인공지능을 활용한 AI 예술 창작도구 사례 연구 (논문, 2022)
- 인공지능과 예술, 공존의 시대로… (사이언스타임즈, 2023.1)
미술품 위작 식별과 관련된 내용도 있습니다.
- 40년 미술품감정 송향선대표 "위작에는 향기가 없다"(뉴스핌, 2023.2 상, 하)
- 미확인 작품 식별을 위한 Feature 선정 및 유사도비교시스템 구축 (논문, 2021.1)
- 공학적방법론을 통해 화풍을 정량화 하다. (BK21FOUR 웹진, 2021)
- AI가 감정한 루벤스 작품…"이 그림은 가짜" (한국경제TV, 2021.9)
- 박진완 교수, 시지각 패턴 분석을 통한 미술품 위작 판별 기술 발표 (CAU 뉴스, 2019.8)
|
|
|
인공지능 서비스의 배포와 운영 시 도움이 필요하신가요?
(주)소이넷은 인공지능 서비스를 제공하는 기업들 가운데 서비스 배포와 운영에서 어려움을 겪고 계신 곳에 도움을 드릴 수 있습니다.
혹시 구독자님의 회사는 다음과 같은 어려움을 겪고 계시지 않나요?
- AI 모델을 개발하고 학습 후 서비스를 위한 성능(Accuracy)은 달성했는데, 정작 최적화 엔지니어가 없어서 어플리케이션, 서비스로의 배포를 위한 실행최적화를 못하고 있어요!
- AI 서비스를 이미 제공하고 있지만, 비싼 클라우드 GPU 서버 인스턴스 사용료가 부담이 되네요. 흠... 경비를 절감할 수 있는 방안이 없을까?
- 서비스에 적합한 공개 SOTA 모델이 있지만 그대로 가져다 쓰기에는 우리 쪽 어플리케이션에 접목하기도 어렵고 운영 비용도 많이 들 것 같은데 어쩌지?
- 서비스에 사용되는 AI 모델을 통합적으로 관리, 배포, 모니터링을 하고 싶은데 그렇다고 비싸고 너무 복잡한 솔루션을 쓸 수는 없고 어쩌지?
- 비즈니스 도메인 기업이긴 한데 자체로 인공지능을 적용하기에는 기술적인 난이도도 있고... 어디 함께 공동 솔루션을 개발할 곳은 없을까?
그렇다면 언제든 아래 연락처로 문의 주세요. 함께 해결책을 고민해 드리겠습니다.
|
|
|
오늘의 뉴스레터는 여기까지 구독자님, 또 다른 재미난 소식으로
다시 찾아뵙겠습니다. |
|
|
구독해 주시면 좋은 소식, 정보로 보답하겠습니다. |
|
|
주식회사 소이넷 sales@soynet.io 경기 성남시 분당구 성남대로331번길 8 (킨스타워) 1503호
대표전화 : 031-8039-5377
|
|
|
|
|