[소이뉴스] 7월 마지막 주 인공지능 소식

새로운 인공지능 소식을 전해 드립니다.

2023. 7. 28.

[소이뉴스] 7월 마지막 주 인공지능 소식

새로운 정보를 전해 드리는 소이뉴스입니다.

안녕하세요, 구독자님.

이번 주를 끝으로 지루했던 장마는 끝난 것 같네요. 간간히 쏟아지는 소나기를 제외하곤 땡볕과 무더위가 바로 우리 곁까지 와 있습니다. 아직은 초입이라 당장은 그렇진 않지만 다음 주가 되면 한없이 쏟아지던 비를 그리워하게 될 지도 모르겠습니다. 제가 무더운 여름보다는 차라리 추운 겨울이 좋은 열 많은(!) 사람이라서죠. 벌써 시원한 아이스 커피 한잔이 생각나네요. ^^; 대신 식물들한테는 이보다 더 좋은 생장 환경이 없겠죠. 풍부한 수분에 뜨거운 햇볕까지... 역시 자연은 사람보다는 훨씬 공평한 것 같습니다.

이번 소식에서는 새로 소개된 인공지능 기술과 이를 활용해서 간단한 장난감 만들기를 해 보도록 하겠습니다.

Open Catalyst Project (OCP)

Open Catalyst 프로젝트는 Meta와 카네기 멜론대학간의 공동 연구 결과로 발표되었는데 목표는 재생가능한 에너지 저장에 사용할 새로운 촉매를 모델링하고 발견하는 것으로, 이를 위한 데이터셋과 머신러닝 라이브러리를 제공합니다. 기존에는 이를 위해 물리적 실험 또는 DFT(Density Functional Theory)를 이용한 계산 시뮬레이션 방법을 이용했는데 너무 느리고 어렵다는 단점이 있었다고 하며 이를 머신러닝을 이용하는 방식으로 바꿔 기존 대비 1000배 이상 빠르게 물질의 반응성을 시뮬레이션을 할 수 있도록 했다고 합니다. (이런 화학 분야는 문외한에 가까워 기술적으로는 언급하지 않겠습니다. ^^;)

여튼 Meta가 최근에 참 많은 것들을 발표하고 있고 나름 큰 파급력을 보여주고 있는 것 같습니다. 마치 예전 딥마인드가 알파고, 알파폴드 등을 소개할 때와 비슷하게 말이죠. 그렇다고 다른 빅테크들의 발표가 적다는 건 아니고 상대적으로 더 많이 부각된다고 보시면 될 것 같습니다.

참고) 프로젝트, 논문, 깃헙, 데모

사진: ML을 이용한 촉매 시뮬레이션 사례 (출처)

3D-LLM

3D-LLM은 3D 포인트 클라우드와 그 특징을 입력으로 받아 영상에 대한 다양한 3D 관련 작업을 수행할 수 있도록 해 줍니다. 소개 영상에서는, 마치 메타포트사(Matterport)의 스캔 카메라로 촬영된 듯한 3차원 방 객체(인형의집(dollhouse)라 불리기도 함)에서 특정한 물체를 찾도록 시키거나, 영상 속 공간 의 특정한 위치로 가상으로 이동시킨 다음 거기서 주어지는 임무를 수행하게 하는 예시를 볼 수 있습니다. 즉, 3차원 공간 정보를 주고 그 속에서 LLM을 이용해서 대화 형태로 임무를 지시해서 수행시키는 것이죠.

지원되는 세부 기능은 다음과 같습니다.

3D Grounding, 3D Captioning
3D Question Answering , Task Decomposition
3D Assisted Dialog, 3D Dense Captioning
Object navigation, Vision-Language Navigation, Embodied QA

참고) 논문, 깃헙, 프로젝트

사진) 3D LLM 모델의 파이프라인 (출처)

(사진) 지원되는 기능 (출처)

VIMA

일반적으로 로봇(예:협동로봇)에게 작업을 지시하기 위해서는, 사람이 직접 로봇팔 등을 조작하는 것을 모방하도록 학습을 시키거나 언어적으로 지시문을 주고 이를 처리하도록 하거나 혹은 시각적으로 최종 상태를 목표로 제시하여 이를 달성하도록 학습시키는 방식이 사용됩니다. 그런데 이런 것들은 제각각 그 작업을 수행할 수 있도록 하는 전용 모델을 사용하게 되죠. NVIDIA에서 발표한 VIMA는 이렇게 하는 대신 언어, 이미지, 비디오 등을 엮어 다중모드 프롬프트로 표현하고 학습하여 로봇 팔을 제어할 수 있도록 한 에이전트입니다.

참고) 프로젝트, 깃헙, 논문, 영상

사진) VIMA의 작업 사양에 대한 다중 모드 프롬프트 지원 (출처)

STYLEGANEX : STYLEGAN-BASED MANIPULATION BEYOND CROPPED ALIGNED FACES

StyleGAN은 베이스가 되는 PGGAN 모델에 Style Transfer 개념을 도입해서 새로운 G(generator) 아키텍처를 만든 것입니다. 이 모델이 처음 발표되었을 때 충격이 상당했습니다. 지금이야 MidJourney나 DALL-E 등 diffusion 계열 생성 모델을 이용해서 실물같은 사진을 만들어내는 것이 다반사가 되었지만, 다양한 특징들이 적용된 실물같은 고화질 안면사진이 쉽게 만들어진다는 것은 당시로는 신기하는 일이었거든요.

하지만, 이 모델에도 단점이 있었는데 정열되고 정해진 크기의 이미지를 입력으로 사용해야 한다는 것이었습니다.

StyleGANEX은 StyleGAN이 가지는 제약사항을 해결해서 가변크기 이미지를 처리하고, 정열되지 않은 각도의 얼굴 이미지와 비디오에 대한 조작을 지원합니다.

StyleGANEX가 지원하는 기능들은 다음과 같습니다.

Style Mixing, Domain Transfer (스타일), Facial Attribute 편집 (예:자세, 나이 등)
Super Resolution, 스케치/마스크를 이용한 얼굴 생성
Video 얼굴 속성 편집, 카툰화 등

참고) 프로젝트, 깃헙, 논문, 영상, 데모(허깅페이스)

사진) StyleGANEX와 StyleGAN 간의 차이 설명 (초기 H,W 값 가변 지원) (출처)

사진) StyleGANEX가 인코더를 통해 지원하는 다양한 작업들 (출처)

기타 소식

그 외 최근 있었던 새로운 소식을 알려 드립니다.

트위터가 X로 다시 태어나다
Meta의 Thread의 공격을 받았던 Twitter가 단순 SNS를 넘어 금융, 커머스 등을 아우르는 슈퍼앱으로 변신하기 위해 로고부터 지저귀던 새에서 X (유니코드: U+1D54F)로 바꾸었습니다. 개인적으로는 이 로고 디자인이 참 마음에 들었습니다.
인텔이 오픈소스 AI 레퍼런스를 대거 공개했습니다. (링크)
대표적 AI 혁신기업 7개사와 미국 바이든 정부 간 자발적(?) 협약 (기사)
미국의 선도적인 생성 AI 및 인공지능 기업 7개사가 백악관에서 바이든 대통령과 만나 AI로 생성된 콘텐츠에 워터마크를 삽입하는 방식으로 정보조작이나 가짜뉴스 위험에 대응하기로 합의 했다고 합니다. 아무래도 내년에 있을 대선 때문에 미리 준비하는 것이 아닐까 싶은데 우리도 조작이나 가짜뉴스 대응책이 필요하지 않을까 생각됩니다.
LG와 특허청이 '특허 전문가 AI 개발'을 위한 협약 체결 (기사)
특허청의 특허정보를 학습시켜 특허 문서 검색, 분류, 요약 등 행정 서비스에 활용하겠다고 합니다. 솔직히 일반 사람들에겐 아이디어를 PPT 형태로 작성해서 올리면 전자출원을 위한 형태를 자동으로 만들어주는 서비스를 특허청에서 개발해줬으면 하는 바램이 더 큽니다. 출원 심사를 통과하기 위해 전문가의 도움이 필요한 특허 관련 전문 용어, 문구, 내용물의 구조 등등을 이미 제출된 수많은 데이터를 기반으로 수준높게 생성해 주면 수백만원이 드는 변리사 비용을 줄일 수 있을테니 말입니다. 아... 이렇게 되면 또 누군가의 일자리를 뺏게 되는건가요? 흠... 참 어렵네요...

인공지능 서비스의 배포와 운영 시 도움이 필요하신가요?

(주)소이넷은 인공지능 서비스를 제공하는 기업들 가운데 서비스 배포와 운영에서 어려움을 겪고 계신 곳에 도움을 드릴 수 있습니다.

혹시 구독자님의 회사는 다음과 같은 어려움을 겪고 계시지 않나요?

AI 모델을 개발하고 학습 후 서비스를 위한 성능(Accuracy)은 달성했는데, 정작 최적화 엔지니어가 없어서 어플리케이션, 서비스로의 배포를 위한 실행최적화를 못하고 있어요!
AI 서비스를 이미 제공하고 있지만, 비싼 클라우드 GPU 서버 인스턴스 사용료가 부담이 되네요. 흠... 경비를 절감할 수 있는 방안이 없을까?
서비스에 적합한 공개 SOTA 모델이 있지만 그대로 가져다 쓰기에는 우리 쪽 어플리케이션에 접목하기도 어렵고 운영 비용도 많이 들 것 같은데 어쩌지?
서비스에 사용되는 AI 모델을 통합적으로 관리, 배포, 모니터링을 하고 싶은데 그렇다고 비싸고 너무 복잡한 솔루션을 쓸 수는 없고 어쩌지?
비즈니스 도메인 기업이긴 한데 자체로 인공지능을 적용하기에는 기술적인 난이도도 있고... 어디 함께 공동 솔루션을 개발할 곳은 없을까?