새로운 정보를 전해 드리는 소이뉴스입니다.

안녕하세요, 구독자님.

이번 한 주는 어떻게 보내셨나요? 

2월이 되면서 완연한 봄이 되려면 아직 멀었지만 날씨는 살짝 미리 맛을 보여주고 있는 것 같습니다. 이전까지의 추위에 얼었던 몸과 마음이 약간은 누그러지지 않으셨나요? 

지난 1월 31일, 미국에서는 SNS를 통해 발생하고 있는 아동성착취 문제 등을 다룬 의회 청문회가 있었습니다. 메타, 스냅챗, 틱톡, 엑스, 디스코드 등 대표적인 5개 SNS 플랫폼 기업의 최고경영자가 의회에 불려가서 증언을 했습니다. 피해자 가족분들이 대거 참석하셨는데 청문회가 진행되는 동안 피해자 사진 등을 들고 직접 호소하는 모습을 보고 우리나라 청문회하고는 좀 많이 다른 분위기인 것을 느껴졌습니다. 이 자리에서 인스타그램과 페이스북을 운영하는 마크 저커버그는 의원들로부터 "당신들은 사람을 죽이는 제품을 만들고 있고, 손에 피를 묻히고 있다"와 같은 신랄한 지적을 받았고 피해자들 앞에서 직접 사과 했습니다. 최근 테일러 스위프트의 딥페이크 사건이 발생했던 엑스(구 트위터)의 경우는 인수 후 1년 간 진행된 개선의 정도 때문에 공격을 상대적으로 적게 받은 것 같긴 합니다. 관련해서 미 의회에서는 플랫폼 사업자들이 콘텐트 내용에 대해 면책 특권을 보장한 1996년 제정된 '통신품위법 230조'의 개정을 언급하고 있다고 합니다. (기사)

미국에서는 SNS 플랫폼을 통해 수많은 사람들이 마약을 구입하거나 아동 성착취를 하는 등 많은 부작용이 발생하고 있습니다. 실시간으로, 그것도 대량으로 순식간에 퍼지는 온라인 컨텐츠의 속성 때문에 서비스를 제공하는 쪽도 대응하기 어려운 측면이 있을 겁니다. 올라오는 컨텐츠에서 문제가 있는 것들만 정확하게 걸러내는 기술을 개발하는 것도 쉬운 일이 아니고, 그런 기술을 본격적으로 적용하면 또 검열이다 해서 문제가 되기도 하죠. (기사) 내용에 대한 검열 외에도 계정 차단이나 링크 공유를 막는 등의 방식으로 여론의 확산을 막는 방식도 있습니다. 예를 들어 트위터가 일론 머스크에 의해 인수된 직후, 한 기자가 이전까지 트위터 내에서 이뤄진 표현의 자유를 침해한 것으로 의심되는 여러 사례를 '트위터 파일'이라는 내용으로 폭로한 사례도 있죠. 물론 그 정보는 일론이 제공했을 것으로 강력히 추정되고 있습니다. (기사)

인공지능 관련 뉴스

지난 1월 25일 세계적인 팝가수 미국의 테일러 스위프트의 얼굴을 합성한 음란물이 엑스(구 트위터)에 퍼지면서 딥페이크의 경각심이 커지고 있습니다. 무려 3억명의 팔로어를 가진 그녀의 영향력이 대선 후보급이라는 나오는 마당에 어찌보면 음란물을 올린 사람은 참 간도 큰 것 같습니다. 하지만, 한편으론 제도 상의 헛점으로 인한 예견된 일이라는 의견도 있습니다. 미국의 경우, 전체 50개 주 가운데 40개가 넘는 곳이 아직 범죄로 처벌하도록 입법화가 되어 있지 않고 연방법도 아직 만들어지지 않은 상태라니까 말이죠.

참고로 우리나라의 경우에는 2020년부터 딥페이크(deepfake) 영상물 등’의 제작‧반포 등행위에 대한 처벌을 강화하는 내용의 「성폭력범죄의 처벌 등에 관한 특례법」 일부개정법률 공포안이 발효되었고 이로 딥페이크 영상물’을 제작‧반포 등을 한 자를 ‘5년 이하의 징역 또는 5천만원 이하의 벌금’으로, 영리를 목적으로제작‧반포 등을 한 경우에는 ‘7년 이하의 징역’으로 가중 처벌할 수 있도록 했습니다. (관련글) 뿐만 아니라  작년 12월 말에 개정된 공직선거법에 따르면 선거일 전 90일부터 선거일까지 선거운동을 위해 딥페이크 영상 등을 제작·편집·유포·상영 또는 게시할 수 없게 되었습니다. 법이 바뀐 것을 모르는 사람들이 많을텐데 아무쪼록 불미스런 일이 없길 바랄 뿐입니다. (기사, 기사, 기사)

지난 1월 19일,  과학기술정보통신부는 '제5차 인공지능 최고위 전략대화'를 개최했고 LG, KT, 네이버, 카카오를 비롯한 국내 뷰티, 로봇, 통신, 전자, 스타트업 대표들이 참석했습니다. 이 자리에서 과기정통부 관계자는 국내 AI 글로벌 경쟁력 확보를 위해 온디바이스 AI 확산, AI 플랫폼 확산 및 생태계 조성, 전통산업의 AI 융합 활성화, AI 기업 양성 및 해외 진출 지원 확대 등을 중점 추진해 나갈 계획이라고 밝혔습니다. 

그리고, 글로벌 빅테크들에 의해 장악되고 있는 플랫폼 및 AI 시장에 대한 얘기가 많이 나온 모양인데, AI분야 국내 최고라는 네이버조차 50배 100배 규모의 테크 기업과 싸워야 한다며 절박감을 토로했다는 대목에선 한편으론 솔직한 고백같이 들렸습니다. 아니다아니다 해도 현재 AI 분야는 그렇게 가고 있는 것 같거든요. 보유한 데이터의 규모, 투자되는 연구개발, 인프라 등에 들어가는 비용의 규모, 그리고 인재풀의 규모 등을 고려할 때 비교 자체가 어려운 것이 사실이기도 하니까요. 하지만 앞으로도 계속 분발해줬으면 합니다. 그런데 다른 한편에서는 오픈소스 LLM 파운데이션 모델들의 학습에 한국어 컨텐츠가 많이 포함되지 못한 것에는 국내 플랫폼 기업들이 자신만의 데이터를 위해 만들었던 장벽 때문이라는 비판적인 의견도 있는 것 같습니다. (보도자료, 기사)

작년 7월에 나온 기사에 따르면 초거대언어모델 (LLM)을 자체적으로 개발하고 상용화 서비스를 내놓은 곳은 미국·중국·한국·영국·이스라엘 5개국 뿐이라고 합니다. 그 이후에 프랑스나 대만처럼 자체 LLM 구축을 위해 수천억원을 투자하기로 한 곳들이 있으니 더 늘긴 했을 것 같습니다. 하지만, LLM의 개발에는 천문학적인 비용과 함께 고도의 기술적인 인프라, 그리고 대규모의 데이터셋이 필요한 관계로 국가 단위로도 쉽게 뛰어들지 못하고 있는 것이 현실입니다. 

중국의 경우, 수백개의 LLM 이 등장했고 중국 최대 검색기업 바이두의 창업자는 이를 두고 '엄청난 자원 낭비'라고 말했습니다. 이유는 간단합니다. LLM 수만 늘인다고 될 일이 아니고 정작 실제 사용할 수 있는 AI 응용 프로그램으로 연결되어야 한다는 것이고, 그렇지 않을 경우에는 대부분 중복되는 영역만 지원되며 결과적으로 더 나은 몇몇 개의 LLM에 의해 도태될 것이기 때문입니다. LLM 하나를 개발하기 위해 들어가는 컴퓨팅 자원, 전력 등등을 고려하면 정확한 지적인 셈입니다.

대만도 자체 LLM 구축에 2026년까지 7700억을 투자하기로 했습니다. 중국의 빅테크들이 이미 중국어 기반의 LLM(예: 어니봇)을 출시하고 있는 상황이지만, 아무래도 학습하는 컨텐츠가 중국 정부에서 추구하는 그것과 대만이 추구하는 것 간에 큰 차이가 있을 것이기 때문에 그런 결정이 이해가 되긴 합니다. 현재 메타의 오픈소스 모데린 Llama2를 기반으로 한 언어모델 '타이드(TAIDE)'를 개발하는 프로젝트가 이미 진행되고 있다고 합니다. (기사) 

각국이 자체 LLM을 개발하하는 이유는 명확합니다. 자체 파운데이션 모델을 보유하고 있지 않는다면 결국은 미국, 중국 등의 빅테크가 개발하는 LLM에 종속될 수 밖에 없다는 것을 알기 때문이죠. 우리나라도 이런 이유에서 KT, LG, 네이버, 카카오, 솔트룩스 등등이 자체 LLM을 개발해 오고 있습니다. LLM이나 생성형 AI관련 연구는 이제 기업 차원을 넘어 국가 차원에서 자국의 것을 육성, 보호해야 하는 시점까지 와 있는 것 같습니다. 

인공지능 기술

  moondream

moondream은 주어진 이미지에 대한 질문에 답변하는 데 사용되는 딥러닝 모델로, 1.6B개의 매개변수를 가지고 있으며, SigLIP, Phi-1.5, LLaVA 학습 데이터셋을 이용해서 구축되었습니다. 설명에 따르면 영어에 특화되어 있어 다른 언어로는 제대로 동작하지 않을거라고 했는데 제가 데모 사이트에서 한국어로 시도해 봤을 때도 역시나 였습니다. 모델 자체가 유사 모델에 비해 상대적으로 가볍고 추론속도도 빨라 낮은 사양의 엣지기기에서도 써먹을 수 있을 것 같아 개인적으로도 관심을 가지고 있습니다. 해당 모델은 학습에 사용한 데이터셋(예:LLaVA) 때문에 상용 사용에 제약이 있었지만 깃헙 Issues에 등록된 답변을 보면 다른 오픈 데이터셋을 사용해서 학습을 진행하는 방식으로 Apache 2.0 라이선스를 지원하도록 개선하고 있는 것 같습니다.

참고) 코드, 데모 

  사진: 데모에서 중경삼림의 한 장면을 이용해서 테스트 해 봤습니다. (출처)

OMG-Seg

OMG-Seg는 타스크 별 쿼리와 출력을 갖는 트랜스포머 기반의 인코더-디코더 아키텍처로 되어 있습니다. 기본적으로는 Mask2Former 아키텍처에서 따르고 있으며 백본(CLIP Visual Encoder), 픽셀 디코더와 마스크 디코더가 포함되어 있지만, 이미지/비디오 분할에 대한 공유 마스크 디코더와 시각적 프롬프트 인코더가 추가적으로 도입되었다는 것이 차이점이라고 할 수 있습니다. 

OMG-Seg 모델은 이미지 수준과 비디오 수준의 분할, 판옵틱 분할, 대화형 분할, 오픈 어휘 분할 등 10가지 이상의 다양한 분할(Segmentation) 작업을 하나의 프레임워크에서 처리할 수 있는 모델로 여러 작업 및 데이터셋에서 계산 및 매개변수 오버헤드를 크게 줄일 수 있다는 장점이 있습니다. 

참고) 논문, 프로젝트, 코드, 데모

  사진: OMG-Seg 모델의 아키텍처 (상), 해당 모델이 적용 가능한 분야 (하)  (출처)

LUMIERE

Google Research에서 사실적이고 다양하며 일관된 동작을 묘사하는 비디오 합성을 위해 설계된 LUMIERE라는 비디오 생성 및 편집을 위한 텍스트-비디오 확산 모델을 소개했습니다. 소개된 영상을 보면 '우와... 정말 이제는 짧은 영상 클립 정도는 AI를 이용해서 만들 수도 있겠다' 하는 생각이 들 정도로 상당한 수준이 된 것 같습니다. 이 모델은 Space-Time U-Net이라는 아키텍처를 사용하여 비디오의 공간적 해상도와 시간적 해상도를 모두 고려하여 비디오를 생성함으로써 비디오에서 전체적인 시관 일관성을 달성하고 있습니다. 

제공되는 기능으로는 다음과 같은 것들이 있습니다.

• Text to Video : 프롬프트 텍스트를 이용해 비디오 생성
• Image to Video : 주어진 이미지와 프롬프트를 이용해 비디오 생성
• Stylized Generation : 참조 이미지의 스타일에 맞춰 비디오 생성
• Video Stylization : 스타일 프롬프트에 맞춰 비디오 생성
• Cinemagraphs : 사용자가 지정한 특정 위치(마스크) 내에 이미지 콘텐츠에 애니메이션 적용 
• Video Inpainting : 소스에 마스크 처리된 부분을 채워서 비디오 생성

  사진: LUMIERE의 파이프라인 (상), STUNet (Space-Time UNet) 모델의 아키텍처(하) (출처)

InstantID

InstantID는 사전 훈련된 텍스트-이미지 확산 모델에 ID 보존 기능을 부여하는 간단한 플러그 앤 플레이 모듈이 결합된 솔루션입니다. 단 하나의 안면 이미지만 있으면 복잡한 얼굴 특징이 잘 보존된 고품질의 이미지를 생성할 수 있죠 유사한 것들로는 최근 공개된 PhotoMaker나 IP-Adapter 등이 있습니다. InstantID의 경우, 사용될 수 있는 사전 훈련모델의 범위도 SD1.5 및 SDXL 을 포함해 다양하며 이미지 생성을 위한 별도의 튜닝이 필요치 않습니다. 

InstantID는 얼굴 특징을 제대로 보존하기 위해 3가지 구성요소를 사용합니다. 

• 얼굴 인코더 (Face Encoder) : CLIP 대신 얼굴 인코더를 사용하여 시맨틱 얼굴 특징을 추출하고, 학습 가능한 프로젝션 레이어를 사용하여 이러한 특징을 텍스트 특징 공간에 투영하며 이 형상은 얼굴 임베딩으로 사용됩니다.
• 경량 적응형 모듈 (lightweight adaptive module) : 분리된 교차 어텐션 기능이 있는 경량 적응형 모듈을 도입하여 이미지를 프롬프트로 지원합니다.
• IdentityNet: 참조 얼굴 이미지의 복잡한 특징을 인코딩하고, 추가적인 약한 공간 제어를 제공합니다. 이 모듈에서 생성 프로세스는 텍스트 정보 없이 얼굴 포함에 의해 완전히 안내됩니다.

(주)소이넷은 인공지능 서비스를 제공하는 기업들 가운데 서비스 배포와 운영에서 어려움을 겪고 계신 곳에 도움을 드릴 수 있습니다.

혹시 구독자님의 회사는 다음과 같은 어려움을 겪고 계시지 않나요?

• 메일 : sales@soynet.io
• 홈페이지 : https://soynet.io/contact-us/

오늘의 뉴스레터는 여기까지
구독자님,
다음 번에도 재미나고 흥미로운 소식을 가지고

다시 찾아뵙겠습니다.

  구독해 주시면 좋은 소식, 정보로 보답하겠습니다.

이전 뉴스 보기