새로운 정보를 전해 드리는 소이뉴스입니다.

안녕하세요, 구독자님.

이번 한 주 잘 보내고 계신가요?

지난 주, 가족들이 서울 여의도 더현대에서 열리고 있는 '폼페이 유물전 - 그대 그곳에 있었다' (영상)에 다녀왔습니다. 한국과 이탈리아 간의 수교 140주년을 기념해서 나폴리 국립 고고학박물관의 소장품 가운데 127점의 유물을 옮겨오고 미디어 컨텐츠 8편을 이용해 입체적인 전시를 한 것이랍니다. 평일 낮에 간 것이라 저는 아쉽게도 함께 하진 못했고, 대신 아이와 그 주제에 대해 대화하기 위해 인터넷 상에 올라와 있는 자료들을 열심히 찾아봤습니다.

폼페이는 지금의 이탈리아 캄파니아주 나폴리 근처에 위치했던 고대 도시입니다. 기원전 6세기 경, 5개의 작은 도시들이 합쳐져 이루어졌고, 그리스인들의 지배를 받아 오다가 기원전 80년에 로마의 식민지가 되었다고 합니다. 농업과 상업이 발달했으며 로마의 상류층 귀족들이 즐겨찾던 화려한 휴양지로 유명했다고 합니다. 

바야흐로 기원 후 79년 10월 24일, 폼페이에서 멀지 않은 베수비오 화산이 폭발하게 됩니다. (영상 : A Day in Pompeii) 갑작스런 폭발로 인해 폼페이와 바로 근처에 있던 헤르쿨라네움이란 도시가 화산재에 쌓여 사라졌는데, 쌓인 화산재의 높이가 폼페이는 2~4미터, 헤르쿨라네움은 20m에 이르렀다고 하니 그 속에서는 아무것도 살아남을 수 없었을 것이란 건 쉽게 상상이 될 겁니다. 다만, 일반적으로 알려진 것과는 달리 사망자수는 당시 폼페이 인구 전체가 아니라 약 10% 정도인 2천명 가량이었다고 합니다. 피하지 못하고 묻힌 사람들의 흔적은 폼페이 유적 곳곳에서 발견되어 현재는 석고로 그 형상을 그대로 보존하고 있답니다.

이후 폼페이를 발굴 및 재건해 보려는 시도들이 있긴 했지만 실현되지 못하다가, 1861년 이탈리아가 통일되면서 빅토르 에마뉴엘 2세의 명으로 비로소 발굴 작업이 시작되었습니다. 현재까지 전체 면적 66헥타르 가운데 44헥타르 정도가 완료된 상태라고 합니다. 수천년간 역사속에 잊혀졌던 도시와 그 속에 살았던 사람들의 삶과 생활상이 하나하나 드러나고 있는 중인 셈입니다.

화산폭발 같은 자연재해가 아니더라도 우리의 삶을 위협할 수 있는 것은 많이 있죠. 

며칠 전, 미국의 민간업체 글래드스톤AI가 미국 국무부의 의뢰를 받아 1년간 주요 AI기업 경영진, 사이버 보안 연구원, 무기전문가, 국가 안보 관계자 등 200여명과 진행한 인터뷰를 진행하고 이를 바탕으로 작성한 보고서가 발표되었습니다. AI의 잠재력에 대한 언급과, AGI가 나오고 통제력을 상실할 경우, 인간종 멸종 수준의 재앙적 위험의 주요 원인이 될 수 있다는 내용 등이 포함되어 있으며, OpenAI, 구글, 엔비디아 등은 2028년쯤이면 AGI에 도달할 수 있을 것으로 예상하고 있다 합니다. (기사) 폼페이와 같이 화려했던 문명을 누리던 한 도시가 한순간의 재앙으로 인해 사람들의 기억속에서 완전히 잊혀질 수 있다는 것은, 문득 AI의 등장으로 위협을 느끼며 현재를 살아가야 하는 우리들에게 시사하는 바가 있을 것 같다는 생각을 해 봤습니다. 

인공지능 관련 뉴스

일론 머스크는 X(구 트위터) 계정을 통해 서비스되고 있는 인공지능 챗봇인 Grok을 오픈소스로 공개하겠다고 밝혔습니다. Grok은 ChatGPT와 비슷한 것이라고 보면 되는데, 트위터 프리미엄 서비스에 적용되어 있습니다. 별도의 외부 데이터 연동 기술을 적용하지 않으면 2021년까지의 학습 데이터로 답변이 한정되는 ChatGPT와는 달리 Grok은 X의 실시간 데이터를 활용한다는 점에서 차별화되어 있죠. 공개 시기는 금주라고 언급했는데 늘 그렇듯 일론 타임을 고려하면 약간씩은 늦어질 수도 있다고 생각됩니다. 

공동 창업자였던 샘 앨트먼에게 OpenAI 라는 조긱과 연구 성과가 'Open'이 아니라 'Closed'로 가버린 것 때문에 소송을 건 상황이라 Grok의 오픈소스 공개는 그 연장선상에서 볼 부분도 있겠고, 향후 Grok 자체의 생태계를 확장해 나가기 위한 발판 마련의 의도도 있을 것 같습니다. 어찌됐건 LLM 생태계가 다양성을 가지고 더 강력해질 수 있는 계기가 될 것 같아 실제 발표를 기대하며 기다려봅니다. (트윗, 기사)

HuggingFace leaderboard에서 LLM solar로 잘 알려져 있는 업스테이지가 LLM 학습을 위한 데이터 전처리를 지원하는 메커니즘인 dataverse를 오픈소스로 공개했다고 합니다. (이름이 데이터 백본 역할을 하는 Microsoft의 Dataverse와 같아서 헷갈릴 수 있겠네요.;) github repo에 소개된 바로는 'Python으로 ETL(추출, 변환 및 로드) 파이프라인을 지원하는 무료로 액세스할 수 있는 오픈 소스 프로젝트' 입니다. 

알려진 바와 같이, LLM의 학습을 위해서는 대량의 고품질 데이터가 필요한데, 이를 위해 데이터에 대한 가공(라벨링) 작업을 해야하고 이 과정에 많은 시간과 비용이 소요됩니다. 게다가 해당 작업들을 전문적으로 수행하면서 쌓인 작업 노하우도 필수적으로 요구되겠죠. 시행착오를 줄이고 데이터이 품질을 높이기 위해서 말입니다. 이 부분을 손쉽게 할 수 있도록 해 주는 솔루션이 바로 dataverse라고 할 수 있습니다. 자세한 내용은 공개 사이트를 참고해 보세요. (기사, 코드)

Cognition AI라는 스타트업에서 텍스트 프롬프트를 기반으로 전체 소프트웨어 프로젝트를 만들어낼 수 있는 완전 자율 AI 에이전트 'Devin'을 공개 했습니다. 코딩 도우미로는 Microsoft의 Copilot을 떠올릴 수 있는데, Devin은 이를 넘어 코딩, 디버깅, 사용자와의 실시간 협업, 쉘, 브라우저 등 인간이 할 수 있는 다양한 엔지니어링 작업을 수행할 수 있어 활용 가능한 범위가 훨씬 넓다고 할 수 있습니다. 

자율 에이전트 관련해서, 발표된 블로그를 보면 '세계 최초'라는 수식어를 달고 있는데 저는 어디선가 비슷한 역할을 하는 솔루션 소개를 본 듯한 느낌이 들었습니다. 예전에 Yohei nakajima라는 분이 'Task-driven Autonomous Agent'라는 컨셉을 적용해서 BabyAGI라는 만들고 소개했을 때였던 것 같습니다. AI 기술 발전을 바탕으로 작업 자동화가 서서히 범용적인 분야에서 사용될 수 있는 수준으로 발전해 나가고 있다는 느낌을 받게 됩니다. (블로그)

인공지능 기술

Procigen

3D 인간-물체 상호작용을 재구성하는 것은 어려운 일입니다. 세상에 존재하는 다양한 물체들이 다 3D 상호작용 데이터셋 내에 존재하는 것은 아니고 상호작용 또한 모든 것을 다 포함하기는 힘들기 때문에 물체, 사람, 상호작용에 대한 일반화가 되어야 하기 때문입니다. 아무래도 많은 실제 데이터가 있다면 좋겠지만 그걸 캡처하고 데이터로 만드는 작업은 많은 비용이 들기 마련이죠.

ProciGen (Procedural Interaction Generation)이라는 방법은 가능한 상호작용과 다양한 물체 변형을 갖는 데이터셋을 절차적으로 생성하고 이 데이터를 사용해 현실적인 상호작용과 인간 및 물체 모양을 학습하는 이미지 조건부 확산 모델인  HDM(Hierachical Diffusion Model)을 훈련시킵니다. 핵심적인 아이디어는 3개의 네트워크를 통해 인간, 물체를 개별 모양 공간으로 학습하고 Cross Attention을 통해 상호 작용을 학습하는 것입니다. 이 방식을 이용하면 정의된 템플릿 없이 다양한 카메라 시점과 조명 조건, 폐색 중인 상태라도 인간과 물체를 재구성할 수 있다는 장점을 얻을 수 있다고 합니다. 

참고 프로젝트, 논문, 데이터셋, 코드, 데모

  사진: 모델 개요 (상), HBM의 생성 방법 (하) (출처)

BitNet 1.58B

지난 2월에 Microsoft가 발표한 논문에서 소개된 기술입니다. LLM 모델 발표 초기에는 8bit, 4bit 하면서 연산량 절감 기술들이 많이 소개되었는데 그 이후부터는 기본으로 깔고 가서 그런지 그런 얘기들은 점점 메인 주제에서 보이지 않았습니다. 그러다 이번에 Microsoft가 발표한 논문은 BitNet 1.58B로 1bit 기술을 이용해서 LLM을 만들 수 있다는 소식을 전했습니다. (참고로 1.58B는 3개의 값(-1,0,1)을 동일한 확률로 인코딩할 때의 엔트로피값을 의미한답니다)

BitNet 1.58B는 계산복잡성이 감소하고 처리속도는 빨라지고, 메모리 사용량은 줄게 될테니 전반적인 에너지 효율성은 크게 증가합니다. 게다가 이렇게까지 경량화가 된다면 고사양의 GPU에 의존하는 정도도 줄어들 수 있겠죠. 이 방식에 최적화된 회로를 가진 연산장치를 개발하는 것이 상대적으로 쉬울 수도 있을테니까요. 

아쉽게도 아직은 공식 구현체는 발표되지 않았습니다. 다만, 비공식적으로 논문 내용을 구현하고 있는 분은 있더군요. 

참고) 논문, 관련글, 소개영상

(주)소이넷은 인공지능 서비스를 제공하는 기업들 가운데 서비스 배포와 운영에서 어려움을 겪고 계신 곳에 도움을 드릴 수 있습니다.

혹시 구독자님의 회사는 다음과 같은 어려움을 겪고 계시지 않나요?

• 메일 : sales@soynet.io
• 홈페이지 : https://soynet.io/contact-us/

오늘의 뉴스레터는 여기까지
구독자님,
다음 번에도 재미나고 흥미로운 소식을 가지고

다시 찾아뵙겠습니다.

  구독해 주시면 좋은 소식, 정보로 보답하겠습니다.

이전 뉴스 보기