고문헌이라면?

'고문헌'이란 일반적으로 고서, 고문서, 고지도 등과 같은 것을 말합니다. 세부적인 정의는 기관마다 달라서 연세대 도서관 기록에는 '한국 전쟁 이전에 발행된 오래된 자료 중 한국학과 관련된 자료'로 규장각한국학연구원에서는 '제2조에 따른 고도서, 고문서, 목(책)판, 기타 유물(활자, 궤 등)로서 동 세칙 제3조의 기준에 부합하는 자료' (기준 부분은 생략...) 등으로 되어 있습니다. 물론 이런 고문헌은 우리나라의 경우에 해당하며 해외의 경우에는 또 다른 기준이 적용될 것입니다. 

고문헌을 볼 수 있는 곳이 있나요?

• 한국고문헌종합목록 
• 한국고전종합DB
• 동양고전종합DB
• 규장각한국학연구원
• 한국고문서자료관

제가 검색으로 찾아본 것들은 이 정도이고 그 외의 링크들을 아주 잘 정리해서 공유하고 계신 분을 발견했습니다. (링크) 참고로 국립중앙도서관 5층에는 고문헌실이 있고 방문해서 직접 많은 자료들을 확인하실 수도 있습니다. (소개영상) 

고문헌 해석은 왜 하나요?

고문헌에는 과거의 문화, 역사, 사회, 종교, 정치 및 법률 등등에 대한 정보가 담겨 있습니다. 이를 해석하여 해당 시대 자체를 이해할 수 있게 되면 이것으로부터 새롭고 다양한 통찰을 얻을 수 있게 됩니다. 과거는 현재를 비추는 거울이라는 말이 있듯이 말입니다. 

고문헌 해석 과정은 어떻게 되나요?

사람이 직접 수행하는 경우와 인공지능을 이용하는 경우로 구분해 보겠습니다.

• 사람이 직접하는 경우
  고대언어에 대한 지식을 갖춘 전문가가 수행하게 되며 원고 수집 및 현장조사를 먼저 진행합니다. 고문서(혹은 석판 등)에 포함된 문자, 기호를 해독하고 추출하며 이를 바탕으로 번역, 해석합니다. 대상 자료 자체만으로는 번역, 해석이 어려운 경우가 종종 있으며 이 때문에 동시대나 이전의 다른 문헌들과 비교해가며 번역 정확성을 확인하게 됩니다. 그러다 로제타스톤처럼 운좋게 한곳에 실마리가 존재하는 사례를 만나게 되면 행운이죠.
  
  
• 인공지능을 이용하는 경우
  고대문헌의 텍스트 데이터를 수집하고 전처리 작업을 수행해서 디지털화 합니다. OCR, 텍스트 정제, 자연어 처리를 위한 문자인식, 형태소 분석, 품사 태깅과 같은 작업들 진행되며 이후 번역을 위한 모델을 개발하고 전처리된 데이터로 학습을 진행하죠. 최종적으로 만들어진 모델을 이용해서 새로운 문헌들의 고대문자를 인식, 해독하고 텍스트 내용을 번역, 검증하게 됩니다. 

로제타스톤? 많이 들어봤는데......

저도 그렇습니다. 방송이나 책 등에서 가끔씩 언급되기도 했고, 얼마 전에는 어린이 역사만화책에서도 본 적이 있습니다. 그런데 제 머리도 인공지능 언어모델처럼 

기억 속에 많은 환각(Hallucination)이 존재하는 모양입니다. 나폴레옹 개인과 직접적인 일화가 있는 것으로 알고 있었거든요. 그런데 그게 아니더군요. ^^;

로제타스톤이라 불리는 석판은 1799년 나폴레옹의 이집트 원정대에 속해 있던 장교(피에르 부샤르)에 의해 이집트 베헤이라 주의 항구도시인 로제타에서 발견되었고, 당시 프랑스 쪽 지휘관 나폴레옹이 패전 후 배로 탈출하는 바람에 승전국 영국군에 넘겨져 현재까지 대영박물관에 보관되어 있다고 합니다. 대신, 프랑스군이 석고로 뜬 사본을 가져가서 연구한 결과가 역사적인 문자 해독의 길을 열었구요. 

로제타스톤은 한 석면이 3개의 영역으로 구분되어 있는데, 각각 고대이집트의 상형문자(신성문자: 공식기록 용으로 간소화, 추상화 기록한 문자), 민중문자(더 간결해진 비 도형문자)와 그리스문자로 동일한 내용이 기록되어 있으며 이 덕분에 문자해독의 실마리가 풀리게 된 것이라고 합니다. 물론 언어 연구자의 줄기찬 노력이 없었다면 석판만으로 완전한 해석과 언어체계를 밝히는 것은 불가능했겠죠. 좀 더 상세한 내용은 위키백과 링크나 이곳을 참고하시기 바랍니다. 

인공지능을 이용할 땐 고문자를 어떻게 처리하나요?

기본적으로 고문헌 자체는 석판, 죽간, 비단 같은 천, 종이 등에 기록되어 있는 경우가 대부분입니다. 이것을 인공지능이 해석하기 위해서는 앞서 말씀드린 것과 같이 디지털로 바꾸기 위해 이미지 처리를 해야합니다. 이때 문자의 경우에는 OCR (Optical Character Recognition) 기술을 사용하게 됩니다. 

이미 글자체가 있을텐데 그걸 이용하면 될텐데 왜 다시 이미지 형태로 읽냐구요? 그건 같은 글자라도 오랜 시간이 흐르면서 여러가지 다른 형태로 표기가 되기도 하고 기록한 주체에 따라 기록방식, 필체, 사용하는 축약어 등도 다 제각각이기 때문입니다. 

2021년 중국 알리바바 그룹의 자회사 겸 연구기관인 다모 아카데미에서는 중국 고서들을 AI 기반 OCR 기술로 디지털화 하는 작업을 진행했고 그때 사용된 OCR은 약 3만개의 고대 한자를, 97.5%의 정확도로 인식할 수 있는 수준에 사람이 하는 속도 대비 30배 빨랐다고 합니다. (링크) 또 우크라이나 키이우 공대 연구원은 성 소피아 성당 돌담에 그려진 중세 그래피티를 해석하는 인공 신경망을 만들기도 했답니다. (링크) (참고로 키이우의 성 소피아 성당은 우크라이나-러시아 전쟁 때문에 파괴될 위험이 있다해서 유네스코에서는 '위기유산'으로 지정해 두고 있습니다) 

그 이후에는요?

OCR을 통해 문자판독으로 디지털화를 하고 나면 데이터 정제 등의 전처리 작업을 진행하게 됩니다. 그런 다음 ML/DL 등을 이용한 기계번역 모델을 개발하게 되는데 이 때 필요한 학습 데이터 구축을 위해 고문헌 상의 문자(예:한자)를 전용 토크나이저로 의미 단위로 분리시키는 등의 작업을 수행합니다. 부족한 데이터는 증강기술을 활용해서 추가로 확보하기도 하죠. 데이터 준비가 되면 그 뒤엔 모델 학습과 튜닝 등 지난한 작업들이 기다리고 있겠죠... 

옛 사람들은 고문자를 어떻게 사용했을까요?

고대 이집트의 상형문자, 중국의 한자의 일부(상형문자) 등은 그림으로 표현된 문자입니다. 현대로 치자면 사람들이 많이 활용하는 이모티콘과 비슷한거죠. 고대 사람들이 상형문자 등을 이용해서 문장을 만드는 과정이 현대 사람들이 이모티콘들을 엮어서 메시지를 만드는 과정과 비슷하지 않았을까요? 지금은 이모티콘 외에도 훨씬 고도화된 문자(상형 외의 표음/표의/표어/자질 등등)를 결합 사용함으로써 더 정교하고 다양한 내용의 메시지를 만들 수 있다는 차이가 있는 거구요. 이모티콘이 처음 등장했을 당시의 한 기사를 보면 어떤 언어학자들은 '이모티콘이 진화하면 할수록 그 형태가 고대 이집트문자의 회화성(그림문자)을 더욱 닮아가는 것은 아이러니가 아닐 수 없다'라고 했다네요. (링크)

이집트 상형문자 얘길 하니 생각난 것이 있는데 그것은 구글에서 공개한 도구 가운데 Fabricius라는 것입니다. 일종의 이집트 상형문자 번역기인데 영문을 입력으로 주면 그것을 이집트 상형문자로 바꿔줍니다. 원래는 연구자들을 위해 만들어진 서비스인데, 저는 전문가가 아니라 어떤 것인지 맛보기로만 아주 살짝 돌려봤습니다. 

참고) 이모지 vs 이모티콘 차이 (링크)

• 이모티콘은 문자,숫자, 기호 등을 이용해서 표현하는 것. '이모션(Emotion)'과 '아이콘(Icon)'의 합성어입니다.   예)  $ : ) 나 >@)>>< 
• 이모지는 문자와 그림을 함께 이용해서 표현하는 것. 일본어 '그림(에)'와 '문자(모지)'가 합쳐져서 만들어진 단어입니다.

고문헌에는 문자말고 다른 것들도 있을텐데요...

고문헌 가운데는 고지도 같은 것도 있습니다. 이들은 처음부터 이미지 스캔을 통해 디지털화되어 보관(아카이빙)되며 이를 이용해서 학술적인 연구가 진행됩니다. 또는 현대의 다양한 기술(예:GIS, Map 등등)들과 결합되어 일반 사람들을 위한 서비스에 활용되기도 합니다. 스코틀랜드 국립도서관의 지도 웹사이트에서 고지도를 이용해서 진행한 사례는 이곳에서 확인할 수 있습니다. 그리고, 국내에서 고지도와 관련해서 나온 '지도 위의 전쟁'이라는 책이 있더군요. 인터뷰 기사만 봤는데 관심이 가서 나중에 한번 읽어볼 생각입니다. (링크) 

관련해서 볼만한 내용을 알려주세요.

서칭을 통해 조사한 내용을 나열해 보겠습니다. 기사 가운데 동일한 사건을 설명한 것들이 일부 중복처럼 있습니다. 약간씩 내용 차이가 있는 것 같아 그대로 두었으니 양해 바랍니다. 

• 기사) 인공지능으로 사멸위기 언어 보존한다 (주간경향, 2019.8)
• 기사) MIT, 퓨샷(few-shot)러닝으로 사라진 언어 해독 알고리즘 개발 (AI타임즈, 2020.10)
• 포스트) 상형문자도 풀어내는 AI의 능력! AI의 한계는? (LG CNS, 2020.12)
• 데이터셋) 고서 한자 인식 OCR 데이터 (AI Hub, 2021 구축)
  
• 기사) 2억4250만자 '승정원일기' AI로 복원·초벌 번역 성공...고문서 연구 탄력 받나 (교육플러스, 2021.3)
• 기사) 알리바바, 정확도 97.5% 문자인식 AI 기반 중국 고서 디지털화 추진 (EBN 산업경제, 2021.5)
• 기사) Researchers use AI to unlock the secrets of ancient texts (Notre Dame News, 2021.8)
• 기사) 판독 불가 '고구려 목간의 글자들', AI 기술로 읽어낼 수 있을까 (AI타임즈, 2022.2)
• 기사) 딥마인드, 옥스퍼드大와 인공지능으로 훼손된 고대 문자 해독!...세계 연구자 위해 오픈소스로 공개 (인공지능신문, 2022.3)
• 기사) 100명 남은 고문서 번역 인력, 우리 역사에 AI가 희망인 까닭은? (디지털데일리, 2022.4)
• 논문) 딥러닝 기반 광학 문자 인식 기술 동향 (ETRI, 2022.10)
• 영상) 고문서 속 한자 ‘2초 만에’ 한글로?…“AI로 쉽게 번역” (KBS, 2022.12)
• 기사) 고문헌 한자를 인공지능이 읽어준다! (우리문화신문, 2023.6)
• 기사) 단국대, 인공지능과 빅테이터 기술로 '고문헌 인식 개발 성공' (뉴스프리존, 2023.1)
• 블로그) AI가 고대 바빌로니아의 텍스트를 해독, 길가메시 서사시의 사본과 잃어버린 찬가를 발견 (두우우부, 2023.2)
• 기사) 고고학자도 직장 잃나…AI, 바둑 게임 넘어 고대문서 해독도 [달콤한 사이언스] (서울신문, 2022.3)
• 영상) The ancient secrets revealed by deciphered tablets (BBC Ideas, 2022.1)
  5000년 전 메소포타미아 문명의 설형문자인 수메르어와 아카드어가 새겨진 점토판을 연구하고 해독한 사례를 소개합니다. 그리고 그 속에서 발견된 놀라운 사실들도 함께 말이죠. 60진법과 당시 사람들의 생활상 등등...
• 영상) The AI historian: A new tool to decipher ancient texts (nature video, 2022.3)
  구글 딥마인드가 개발한 Ithaca(이타카)라는 딥러닝 기반의 인공신경망을 이용한 사례를 소개합니다. 80,000개 이상의 고대 그리스 비문을 학습했고 이를 기반으로 새로운 비문의 내용 해석과 파손 등으로 누락된 부분들에 대한 내용을 추측해 낼 수 있다고 합니다. 이타카와 인간 역사가의 노력이 결합되어 더 나은 결과를 도출했다는 내용입니다. 
• 기사) Could AI Language Models Like ChatGPT Unlock Mysterious Ancient Texts? (Discover magazine, 2023.4)
• 기사) AI가 고문헌 한자 읽어준다…누리IDT 고문헌OCR출시 (머니투데이, 2023.6)
• 논문) 한국국학진흥원 개발 고문헌 AI 자동번역 프로그램과 활용 전망 (한국국학진흥원, 2023.6)
• 기사) AI가 고대 텍스트에 생명을 불어넣어 Akkadian 설형 문자의 비밀을 풀다 (Cryptopolitan, 2023.7)

• 블로그) #2영국박물관, 로제타스톤과 이집트문자 (brunch story, 2017.3)
• 온라인 상의 상형 특수문자 모음집 (SNS.KEYBOARD)
• 기사) [SPECIAL] 옛것으로 잇는 우리의 역사, 국립중앙도서관 학예연구사 (한겨레, 2020.6)
• 논문) 고문헌 자료의 형태서지학과 디지털 기술의 융합 (s-space, 2021)
• 리포트) 나라 밖 우리 옛 책, 어디에 있을까? (출판N, 2022.10)
  해외에 나가 있는 우리의 많은 고서에 대한 정보를 제공합니다. 
• 기사) 1만년 후 세계에 현재 언어를…현대판 로제타스톤 (Tech Recipe, 2023.5)
  전 세계 1,500개 이상의 다양한 언어를 티타늄 디스크에 저장한 사례를 소개합니다.
• 영국박물관의 3D 로제타스톤 (Sketchfab 링크)
  3D로 되어 있어 마우스로 돌려가며 볼 수도 있습니다. 참 좋은 세상입니다. ^^
• 국립세계문자박물관 오늘 인천 송도에 개관…“세계 문자 55종 희귀 자료 관람” (KBS뉴스, 2023.6)
• 기사) 저자와 독자 그 사이…지식의 고리를 연결하라 (경향신문, 2023.8)

• 국내 최초의 버추얼 K-POP  걸그룹 콘서트
  펄스나인의 Deep Real AI 기술을 해서 만들어진 가상휴먼 아이돌인 'Eternity'가 국내 최초 현장 콘서트를 연다고 합니다. 장소는 경기도 광명시 아이벡스 스튜디오 하이퍼홀이라고 하네요. 사실 저는 아직 가상 아이돌이라고 하면 약간은 무관심했었습니다. 최초의 '아담'부터 알아왔던터라 인간을 모사할 때 생기는 어색함을 의미하는 '불편한 골짜기' 를 많이 경험해 왔기 때문이죠. 하지만, 이젠 비록 완벽한 3D 실물은 아니겠지만 오프라인 공간에서 콘서트를 한다는 점에서 이 분야에서 진일보한 측면이 있다고 생각되어 소식을 전해 봅니다. (기사)
• OpenAI의 이미지 생성 모델 '달리(DALL-E-3)' 출시
  OpenAI에서 새로운 이미지 생성모델인 'DALL-E-3'를 출시했고 기존의 ChatGPT 서비스에 통합된다고 합니다. 그럴 경우, 이미지 생성을 위해 사용자 프롬프트를 입력해야 했던 다른 케이스와는 달리 ChatGPT와의 대화 형태로 요구사항을 설명하면 ChatGPT가 가장 적절한 프롬프트를 생성하고 이를 이용해 DALL-E-3이 이미지를 생성합니다. 그림 생성을 위해 일 시킬 똑똑한 비서를 거치는거라 훨씬 편해지긴 할 것 같습니다. (기사)

• AI 모델을 개발하고 학습 후 서비스를 위한 성능(Accuracy)은 달성했는데, 정작  최적화 엔지니어가 없어서 어플리케이션, 서비스로의 배포를 위한 실행최적화를 못하고 있어요!
• AI 서비스를 이미 제공하고 있지만, 비싼 클라우드 GPU 서버 인스턴스 사용료가 부담이 되네요. 흠... 경비를 절감할 수 있는 방안이 없을까?
• 서비스에 적합한 공개 SOTA 모델이 있지만 그대로 가져다 쓰기에는 우리 쪽 어플리케이션에 접목하기도 어렵고 운영 비용도 많이 들 것 같은데 어쩌지?
• 서비스에 사용되는 AI 모델을 통합적으로 관리, 배포, 모니터링을 하고 싶은데 그렇다고 비싸고 너무 복잡한 솔루션을 쓸 수는 없고 어쩌지?
• 비즈니스 도메인 기업이긴 한데 자체로 인공지능을 적용하기에는 기술적인 난이도도 있고... 어디 함께 공동 솔루션을 개발할 곳은 없을까?