[소이뉴스] 그대여, 걱정하지 말아요~

부정적인 측면보단 긍정적인 측면을 보세요.

2024. 7. 26.

[소이뉴스] 그대여, 걱정하지 말아요~

새로운 정보를 전해 드리는 소이뉴스입니다.

이번 한 주도 힘차게 보내고 계신가요?

지난 주말, 미국과 유럽을 포함한 세계 곳곳에서는 보안 소프트웨어의 버그로 촉발된 글로벌 IT 대란이 벌어졌습니다. 문제의 발단은 크라우드스트라이크(CrowdStrike)라는 보안업체의 소프트웨어 업데이트 시 발생한 문제였는데, 그 여파는 실로 어마어마했습니다. 마치 2000년이 되면 연도 표시 문제로 인해 전 세계의 통신, 항공, 국방, 금융 분야에 커다란 영향을 미칠 거라 예상됐던 Y2K 사태의 작은 현실판 맛보기판이 아니었을까 싶었습니다. 당시 Y2K는 헤프닝으로 끝났고, 이번 사태도 발생한 피해액이나 영향을 감안할 때, 일주일도 채 되지 않은 지금 너무도 조용히 넘어가고 있는 게 아닌가 싶을 정도로 잊혀지고 있습니다.

의도적으로 디지털 기기들을 완전히 없앤 채 깊은 산속으로 들어가 살지 않는 한, 우리는 거의 모든 것이 연결된 세상에 살고 있습니다. 우리를 둘러싸고 있는 정교한 네트워크 체계가 평상시에는 아무런 문제 없이 굴러가고 있다는 것이 놀랍다가도, 다른 한편으로는 어느 한 부분의 문제가 전체로 퍼져 생긴 이번 사건을 떠올리면서 우리는 앞으로도 늘 아슬아슬한 위험 속에서 계속 살아갈 수밖에 없겠구나 하는 걱정도 하게 됩니다.

하지만, 늘 걱정만 하면서 살 수는 없는 법이죠. 유튜버 올리버쌤 채널의 영상 가운데, 토네이도가 잦은 지역에 목조주택을 짓는 것에 대해 한국 구독자들의 질문이 있어 이를 올리버쌤의 아버지와 함께 인터뷰 형태로 답하는 장면이 있습니다. (링크) 주변 모든 것을 다 휩쓸어 가는 무시무시한 토네이도지만 대부분의 사람들은 두려움에 떨며 살지는 않는다... 피하려고 해도 올 것은 오므로 만약 그날이 오면 아... 오늘이 그날인가 하며 받아들인다... 이런 마음가짐 같았습니다. '만약에 대한 대비'에 익숙해져 있는 사람들에게는 다소 다른 삶의 방식으로 다가오지 않을까 싶습니다.

문득 X에 올라온 한 영상이 떠올랐습니다. 카페를 찾아온 사람들의 모습을 보여주는 영상인데, 유리 출입문에 'Smile to get Free Coffee'라는 문구가 적힌 종이가 붙어 있죠. 커피를 사기 위해 이곳을 찾은 사람들은 대부분 지쳐 보이거나 무뚝뚝한 표정을 하고 있습니다. 왜 문이 안 열리지 하며 의아해하다가 이 문구를 보고는 다들 웃으며 표정이 밝아지고, 그제서야 문이 열리게 됩니다. 항상 걱정하며 살 것이 아니라면, 가능하면 인생의 밝은 면을 보려고 노력하는 자세도 필요할 것 같습니다.

긴 장마로 지쳐가는 몸과 마음을 잘 달래시고 긍정적이고 밝은 면을 보는 한 주로 마무리하시길 바랍니다.

인공지능 관련 뉴스

메타, 라마 3.1 공개

메타에서 라마 3.1 모델을 공개했습니다. (기사) 405B 개의 매개변수를 가진 것으로 오픈소스 모델 가운데에서는 현존하는 것 가운데는 가장 큰 것으로 GPT-4o나 Claude 등의 비공개 상용 모델과도 견줄 수 있는 성능의 모델로 간주되고 있습니다. 일반 사용자들은 ChatGPT나 Claude-3.5 등을 이용하니 별로 체감하지 못할 수도 있지만, AI 개발자나 AI 기업, 자체 LLM을 온프레미스로 구성하고자 하는 기업들 입장에서는 '땡큐, 메타~'하며 아주 반길만한 일인 듯 싶습니다. 글로벌 빅테크들의 LLM 경쟁이 갈수록 격화되고 있는데 흠... 이 와중에 다른 업체들은 어떤 전략을 가지고 시장에서 경쟁해야 할 지 빨리 방향을 찾아야 할 것 같습니다.

산업통상자원부, AI 자율제조 얼라이언스 출범

산업통상자원부에서 AI 자율제조 얼라이언스를 출범시켰습니다. 국내 제조업 매출 비중 40%를 차지하는 총 153개 기업과 기관이 참여하는데, 업종 별 12개 분과로 구성되는데 분과 별 대표 앵커기업과 핵심 공급망을 구성하는 중견·중소기업들이 구성된다고 합니다. 민관의 투자 규모는 총 2조 5000억원 규모이며 올해 20개의 프로젝트로 시작해서 2028년까지 200대 선도 프로젝트를 추진할 계획이라고 합니다. 이를 통해 기업들의 생산성 향상, 에너지 절감, 탄소 배출 감소, 품질 향상 등을 기대하고 있는데 구체적인 목표 수치는 2030년까지 AI 자율제조 도입률 40%, 제조 생산성 20%, GDP 3% 이상 증가입니다. (기사)

xAI, H100 GPU 10만개 GPU로 구성된 슈퍼컴퓨터 클러스터 가동

일론 머스크가 설립한 AI 기업인 xAI의 멤피스 데이터센터에 구축된 슈퍼컴퓨터 클러스터가 7월 22일부터 미국 가동을 시작했다고 합니다. 10만개의 H100 GPU를 이용해서 구축된 이 클러스터는 그 규모 만으로는 세계 최고이기에 AI 기업이나 개발자들의 부러움을 사고 있습니다. 글로벌 레벨의 클라우드 사업자도 아닌 한 기업이 그 비싸다는 H100 GPU를 이렇게나 많이 직접 구매할 수 있고 그것을 이용해 자체 데이터센터까지 만들어 운영할 수 있다는 것이 말입니다. 이곳에서는 xAI의 Grok 3 LLM이 훈련될 것이라고 하죠. 연말에 어떤 결과물을 내놓을 것인지 궁금해 집니다. (기사)

구글, 뉴럴 일반순환모델(GCM)을 통해 일기 예측

구글은 유럽중기예보센터(ECMWF)와의 협업을 통해 '뉴럴 GCM'이라는 날씨 시뮬레이터를 개발했습니다. 기존의 표준모델은 복잡한 수식 계산이 필요하다보니 느리고 계산 비용도 많이 들었고 국지성 호우 같은 것은 예측하기 힘들다는 단점이 있었는데 이런 부분을 AI를 이용한 방식으로 보완하기로 한 것입니다. 새로 도입되는 방식은 기존 방식 대비 2~15일 후의 일기예보를 더 정확하게 예측할 수 있다고 하네요. (기사)

MS 클라우드, 클라우드스트라이크 코드 오류로 전세계 IT 시스템 먹통 사태

지난 주말 (7/18 현지시간) 마이크로소프트의 클라우드 서비스를 이용하는 IT 시스템들에 동시다발적인 문제가 생겨 공항, 은행, 병원, 방송, 공공 등 분야에서 시스템이 먹통이 되는 글로벌 IT 대란이 발생했습니다. 클라우드스트라이크 사의 보안 소프트웨어 업그레이드 과정에서 오류가 발생한 것이 원인이라고 합니다. 미국 내에서는 MS의 메일, 클라우드, 화상회의 시스템을 사용하는 연방정부의 IT 부분이 다 영향을 받았다고 합니다. 참고로 미국 연방정부 공무원들은 기본적으로 MS의 업무용 소프트웨어를 사용하기 때문인 모양입니다. 다행히도 국내에서는 신속한 대응 덕분인지 큰 피해는 없었던 것 같습니다. (기사)

카이스트와 네이버, LLM 기반 추천 기술 공동 연구 결과 공개

카이스트와 네이버가 공동 연구를 통해 협업 필터링(Collaborative filtering) 기반의 추천시스템 기술을 개발했습니다. 상품 추천은 사용자의 기존 구매 물품 내역을 활용해 기반으로 ML을 적용해 오다가, 최근에는 상품 정보 텍스트를 기반으로 LLM을 활용하는 방식이 등장하고 있는데, 이번 연구에서는 유사 사용자, 유사 상품을 이용한 사전 학습된 협업 필터링을 통해 추출한 사용자의 선호 정보를 상품 정보 텍스트와 함께 LLM에 주입해 추천 정확도를 높이는 방식으로 진행됐고 그 결과 기존 대비 학습과 추론 속도가 각각 253%, 171% 향상되고 12%의 추천 성능 향상이 있었다고 합니다. (기사)

보건복지부, AI를 활용한 신약 개발 R&D 선정 지원

보건복지부와 과학기술정보통신부는 '연합학습 기반 신약개발 가속화 프로젝트 사업(R&D)'의 26개 과제를 선정하고 본격적인 사업 착수에 나섰습니다. 연합학습이란 여러 곳에 분산 저장된 데이터를 직접 공유하지 않으면서 서로 협력하여 AI모델을 학습할 수 있는 기법을 말하는데 보안이 중요하지만 자체 보유 데이터 외에도 타 기관이 보유한 고급 데이터가 필요한 상황에서 사용됩니다. 본 사업에서는 연합학습 플랫폼 구축, 신약 개발 데이터 활용 및 품질 관리, AI 솔루션 개발의 3개 분야 26개 세부 과제로 진행되는데 이 가운데 AI 솔루션 개발 분야만 보면 신약 개발 단계에서 발생하는 실험데이터를 이용해 약물 후보 물질을 발굴하기 위한 예측 모델 개발과 관련된다고 합니다. (기사)

인공지능 기술

Click-Gaussian

Click-Gaussian은 복잡한 3D 환경에서 실시간으로 물체를 분할하고 조작할 수 있도록 해주는 기술입니다. 기존의 방식에서는 분할 후 후처리에 많은 시간이 소요되고, 물체를 세밀하게 분할하는 데 한계가 있었는데, Click-Gaussian 기법은 대화형으로 10ms 내에 물체를 선택해 분할할 수 있으며, 분할의 세밀한 정도도 조절할 수 있습니다.

Click-Gaussian은 사전 학습된 3D Gaussian에 큰 물체와 작은 물체를 구분할 수 있도록 두 가지 다른 세밀도 수준의 특징 필드를 추가합니다. 그런 뒤 SAM(Segment Anything Model)에서 생성된 2D 분할 마스크와 대응되는 2D 렌더링된 특징 맵을 사용하여 대조 학습을 수행하고, 전역 특징 유도 학습(Global Feature-guided Learning)을 도입해 다양한 뷰에서 생성된 2D 마스크의 일관성을 유지할 수 있도록 했습니다.

Click-Gaussian을 이용하면 물체 제거, 크기 조정, 재배치, 복제, 텍스트 기반 편집 등의 다양한 3D 장면을 조작할 수 있어 VR, AR 등에 응용하거나 디지털 콘텐츠 생성이나 실시간 영상 렌더링 등의 분야에 활용할 수 있습니다. 소개된 영상을 보면 앞으로 디지털 영상물의 제작이 어떤 식으로 이루어질지 살짝 감을 잡을 수 있을 것 같기도 합니다.

참고) 프로젝트, 논문, 영상

사진: Click-Gaussian 개요 (출처)

Live2Diff

Live2Diff는 실시간 스트리밍 비디오를 원하는 스타일로 변환해주는 기술입니다. 이 기술은 단방향 시간적 자기 주의(uni-directional temporal self-attention)를 이용해 비디오의 각 프레임이 이전 프레임에만 의존하도록 하고, 이전 프레임 정보를 캐시하여 재사용함으로써 계산 비용을 줄이는 동시에 처리 속도를 높이며, 파이프라인 디노이징은 여러 프레임을 동시에 처리하여 효율성을 높이고 있습니다. 이런 것들이 결합되어 실시간 처리를 가능하게 하는 것이죠. 영상의 구조적 일관성 유지를 위해 학습 때는 깊이 정보를 사용하며, 추론 시에는 웜업을 통해 초기 프레임에 양방향 주의를 적용해 충분한 문맥 정보를 얻고 이후부터는 단방향 주의를 적용하는 방식을 채택하고 있습니다. 이 기술은 실시간 방송을 하는 유튜버 같은 콘텐츠 크리에이터나 방송 쪽에서 활용하면 좋을 것 같습니다.

참고) 프로젝트, 논문, 코드, 데모, 영상

사진: Live2Diff 모델의 개요 (출처)

Mistral-Nemo

Mistral-Nemo는 Mistral AI에서 NVIDIA와 협력해서 개발한 최첨단 LLM 모델로, 챗봇, 다국어 작업, 코딩, 자동 요약 등 다양한 업무에 사용될 수 있습니다. 120억 개(12B)의 매개변수를 가졌고, 양자화 인식 학습이 적용되어 성능 손실 없이 FP8로 추론 가능하며, 적은 메모리를 사용하면서도 처리 속도가 빠릅니다. 멀티턴 대화, 수학, 상식 추론, 세계 지식과 코딩 작업에서 동급의 다른 모델 대비 높은 성능을 제공합니다.

효율적인 모델 병렬 처리 기술과 GPU 최적화 기술인 '메가트론(Megatron)-LM'을 활용해 최적의 성능을 달성했고, Tiktoken 기반의 새로운 토크나이저 'Tekken'을 사용해 효율을 높였습니다. (Tekken이라... 흠... 젊었을 때 즐겼던 대전 게임이 떠오릅니다. ^^;) 그 외의 특징으로는 Apache 2.0 라이선스를 채택했고, NVIDIA NIM 기반의 마이크로서비스 패키지로도 제공되며, 다국어 지원에 강하게 설계되어 있다는 것입니다. 테스트를 해보면 한국어도 꽤 잘 되는 것 같았습니다.

참고) 소개글, 모델카드, 데모

사진 : 타 모델들과 Mistral Nemo 모델간의 벤치마크 성능 비교 (상), 다국어 벤치마크에서의 비교 (하) (출처)

인공지능 서비스의 배포와 운영 시 도움이 필요하신가요?

(주)소이넷은 인공지능 서비스를 제공하는 기업들 가운데 서비스 배포와 운영에서 어려움을 겪고 계신 곳에 도움을 드릴 수 있습니다.

혹시 구독자님의 회사는 다음과 같은 어려움을 겪고 계시지 않나요?

AI 모델을 개발하고 학습 후 서비스를 위한 성능(Accuracy)은 달성했는데, 정작 최적화 엔지니어가 없어서 어플리케이션, 서비스로의 배포를 위한 실행최적화를 못하고 있어요!
AI 서비스를 이미 제공하고 있지만, 비싼 클라우드 GPU 서버 인스턴스 사용료가 부담이 되네요. 흠... 경비를 절감할 수 있는 방안이 없을까?
서비스에 적합한 공개 SOTA 모델이 있지만 그대로 가져다 쓰기에는 우리 쪽 어플리케이션에 접목하기도 어렵고 운영 비용도 많이 들 것 같은데 어쩌지?
서비스에 사용되는 AI 모델을 통합적으로 관리, 배포, 모니터링을 하고 싶은데 그렇다고 비싸고 너무 복잡한 솔루션을 쓸 수는 없고 어쩌지?
비즈니스 도메인 기업이긴 한데 자체로 인공지능을 적용하기에는 기술적인 난이도도 있고... 어디 함께 공동 솔루션을 개발할 곳은 없을까?