이미지 디노이징에 대해 알아봅니다. 안녕하세요, 구독자님.
이번 한 주도 잘 보내고 계신가요?
얼마 전부터 다시 하늘이 흐려지고 황사나 미세먼지 얘기가 나오고 있습니다. 6~7년 정도 됐나요? 중국발 미세먼지가 사회 문제가 됐던 적이 있었죠. 당시 SNS를 통해 각 지역의 미세먼지 수치가 공유되고 측정기가 불티나게 팔려 나갔고 마스크 쓰는 것도 일상화되기까지 했었습니다. 그러던 것이 코로나 바이러스 이후로 제조시설 가동이 줄어서인지 모르겠지만 한동안 맑은 하늘을 볼 수 있었죠. 하지만 다시 과거와 같이 주의해야 하는 시기가 왔습니다. 아무쪼록 건강 유의하시기 바랍니다.
이번 소식에서는 황사나 미세먼지처럼 뿌옇거나 먼지가 낀 듯한 이미지 상의 노이즈를 제거하는 기술에 대해 짧게 알아보고 최근 주목할만한 인공지능 쪽 소식 몇 가지, 그리고 다음 주에 있을 World IT 2023 전시회에 대한 소개를 하겠습니다. |
|
|
노이즈(Noise)란?
보통 노이즈라고 하면 '잡음' 정도로 이해됩니다. 최근 헤드폰, 이어폰 등에도 '노이즈 캔슬링'이라고 해서 주변의 소음을 제거해주는 기능이 들어간 제품들이 많이 나오고 있는 것은 아실 겁니다. 그럼 소리에만 해당되는가 하면 그렇진 않습니다. 시계열 신호에서도 생길 수가 있고 이미지, 영상 등에서도 발생할 수 있습니다. 그러니 정상적인 신호(signal)를 제외한 나머지 신호들을 노이즈(noise)라고 생각하면 될 것 같습니다.
노이즈는 무조건 없애야 하나요?
대부분의 경우, 노이즈를 없애는 것이 전달하거나 받고자 하는 신호를 명확하게 만들어주기 때문에 '그렇다'고 할 수도 있지만 실은 어떤 목적으로 사용하느냐에 따라 그렇지 않을 수도 있습니다. 예를 들어 인공지능 모델의 학습 시 노이즈 역할을 하는 데이터를 일부러 넣어 주기도 합니다. 너무 정상적인 데이터만 가지고 학습을 하게 되면 그렇지 않은 상황에서 모델이 제대로 된 예측을 할 수 없기 때문입니다. 온실에서 자란 꽃이 야생으로 던져지면 겪게 될 일을 미리 걱정해서 좀 더 '강건(robust)'하게 자랄 수 있도록 시련을 가하는 것이라 보시면 됩니다.
이미지나 영상에서의 노이즈는 어떤 이유로 생기나요?
어두운 밤 하늘을 핸드폰이나 카메라로 사진 찍어보신 적 있으시죠? 어떻게 나오던가요? 그렇죠. 낮에 찍은 사진에 비해 픽셀 화소가 두드러지게 보일 정도로 사진의 화질이 떨어지는 것을 많이 보셨을 겁니다. 내건 안 그런데 라구요? 흠... 아주 최신의 좋은 폰이나 카메라를 가지고 계시는 모양이네요. 부럽습니다. ^^;
일반적으로 카메라는 CCD나 CMOS 센서를 통해 외부에서 들어오는 빛을 전하로 이후에 이를 디지털 신호로 바꿔 화면에 표시하거나 메모리에 저장하게 됩니다. 이 과정에서 발생하는 노이즈는, 전자센서 자체가 가지고 있는 노이즈(dark noise, bias 등) 빛의 양(광량)이 충분치 않아 센서의 감도(ISO)를 높일 때 강한 전류가 흘러(증폭) 센서 상의 각 픽셀에 전해지는 열 때문에 생기는 등 다양한 발생 원인이 있다고 합니다. ( 관련 글)
이미지나 영상의 노이즈를 제거하려면 어떻게 하나요?
더 많은 픽셀수를 가진 CCD 센서를 사용해서 더 많은 빛을 받아들일 수 있도록 하는 방법이 가장 좋긴 하나 그럴 경우 카메라 등의 장비 비용이 많이 듭니다. 최근 삼성에서는 2억 화소를 가진 CCD 센서를 발표한 바 있고 이를 채용한 스마트폰들도 나오고 있으니 조만간 H/W로 인한 비용 문제는 해소될 것 같긴 합니다만 그래도 한계는 여전히 존재할 것입니다. 최근에는 찍힌 사진에서 다양한 소프트웨어적인 필터 기술을 적용해서 노이즈를 제거하고 화질을 개선하는 쪽으로 많은 발전이 이루졌습니다. Gaussian, Median, Bilateral, NLmeans Filter 등등이 있죠. ( 영상필터링 관련글) 참고로 이런 기술들은 이미 포토샵이나 영상의 경우, 에프터이펙트 등의 영상편집 도구에 도입되어 있습니다. 이후 이를 지원하는 AutoEncoder를 이용하는 것에서부터 최근 NAFNet이나 KbNet과 같은 다양한 딥러닝 모델들이 발표되면서 처리 속도보다는 노이즈 제거의 품질이 중요한 경우에 많이 적용되고 있습니다. 물론 이런 딥러닝 모델들도 실행최적화를 거치면 실시간 영상처리도 가능하겠죠.
|
|
|
사진) NafNet을 이용한 노이즈(noise) 및 블러(blur) 제거 (출처) |
|
|
이미지 노이즈 제거 관련 추가정보를 알려주세요.
카메라 센서에서의 노이즈 관련 글
영상 필터링에 사용되는 비전 기술 소개
- OpenCV 등을 이용한 영상 필터링 (별준님 블로그, 2022.5)
딥러닝 방식의 이미지 노이즈 제거 관련 추가 정보
- NAFNet: Nonlinear Activation Free Network for Image Restoration (깃헙)
- NeRF in the Dark:High Dynamic Range View Synthesis from Noisy Raw Images (프로젝트, 깃헙)
- KBNet: Kernel Basis Network for Image Restoration (논문, 깃헙)
또는 공개된 데모
- Noise2Same: Optimizing A Self-Supervised Bound for Image Denoising (허깅페이스)
|
|
|
최근 있었던 주목할만한 소식들을 소개해 드릴게요.
META(Facebook)에서 SAM (Segment Anything Model) 발표 (깃헙)객체 선택 시의 점 또는 상자 혹은 텍스트 프롬프트 입력을 이용하여 고품질의 개체 마스크를 생성하는 모델입니다. 기존에는 Segmentation 모델 개발 시 목적에 맞춰 자체 세분화 데이터가 필요했고 이를 미세조정하는 과정이 필요했는데 SAM을 이용하면 앞서의 과정이 필요치 않으며 사용 방법도 잘 만들어진 가공툴을 이용하는 것처럼 손쉽게 분리시킬 수 있습니다. 흠... 어쩌면 조만간 기존의 많은 segmentation 모델들과 '헤어질 결심'을 해야할지도 모르겠네요. |
|
|
사진) 모델 아키텍처(위), SAM에서의 대상 선택 방식 및 처리 결과(아래) (출처) |
|
|
이를 활용한 사례도 있는데 Grounded-SAM(Grounding DINO + SAM) + Stable Diffusion의 Inpainting 을 결합한 케이스입니다. ( 깃헙) |
|
|
사진) Grounded-SAM + Stable-Diffusion Inpainting (출처) |
|
|
Microsoft의 Jarvis 발표 ( 깃헙)
어? 자비스면 아이언맨의 스타크를 돕던 인공지능 비서의 이름일텐데? 하시는 분도 있을 겁니다. Microsoft가 이번에 발표한 자비스는 실제 비슷한 일을 합니다. 물론 아직 영화 속 자비스의 수준은 아니지만요...
JARVIS를 간단히 설명하면 사용자의 요청을 처리하기 위해 거대언어모델(LLM, 여기서는 HuggingGPT)을 이용해서 HuggigFace에서 제공하는 수많은 모델 서비스들을 엮어 협업하게 해주는 시스템이라고 할 수 있습니다. (깃헙 사이트 상의 설명은 'a collaborative system that consists of an LLM as the controller and numerous expert models as collaborative executors'라고 되어 있음) |
|
|
사진) JARVIS의 동작 원리 설명 (출처) |
|
|
BabyAGI 발표 ( 깃헙, 소개글) 나카지마 요헤이가 공개한 BabyAGI는 python 스크립트 기반 작업관리 도구로 OpenAI의 GPT-4 API, PINECONE의 vector search API와 LangChainAI framework를 이용하여 주어진 목표에 맞는 작업들을 자동으로 생성하고 실행하는 작업 기반 자율 에이전트입니다. 'AGI(범용인공지능)'라는 단어가 가지는 무게감이 워낙 크기 때문에 모델의 이름에 그 단어가 사용되는 것이 적절할지는 모르겠지만 이걸 이용해서 많은 작업들이 이뤄질 수 있다는 측면에서 관심이 갔습니다. 물론 저자는 정말로 AGI임을 의미하진 않는다는 문구를 github 상에 남겨두었습니다. ^^ |
|
|
그림) PlantUML flow chart generated by GPT-4 based on code base. (출처) |
|
|
저희 소이넷 소식도 잠시 전해 드릴게요.
- 'AI융합 국민안전 확보 및 신속대응 지원 사업'에 (주)소이넷이 참여기관으로 포함된 컨소시움이 선정되었습니다.
- 소이넷도 '2023 월드IT쇼 (World IT Show 2023)'에 참가합니다. 전시회장에서 뵐게요. ^^
|
|
|
2023 월드IT쇼 (World IT Show 2023) |
|
|
전시회 소개
코엑스에서 4.19(수) – 4. 21(금), 3일간 진행되는 전시로 과학기술정보통신부 주최, 산업통상자원부 후원으로 진행되며 부대 행사로 'WIS 2023 글로벌 ICT 트렌드 인사이트 콘퍼런스', 'WIS 2023 신기술 & 신제품 발표회' 등등이 예정되고 있습니다.
상세한 정보는 제공되는 브로슈어를 참고하시기 바랍니다. |
|
|
사진: World IT Show 2023 전시회 개요 (출처) |
|
|
참관 방법은요?
전시회 참관은 전시회 당일 현장에서 등록도 가능하지만 유료이므로 이곳에서 사전등록 신청을 진행하시는 것이 더 좋습니다. 혹은 아래 초청장을 인쇄해 오셔도 됩니다. |
|
|
인공지능 서비스의 배포와 운영 시 도움이 필요하신가요?
(주)소이넷은 인공지능 서비스를 제공하는 기업들 가운데 서비스 배포와 운영에서 어려움을 겪고 계신 곳에 도움을 드릴 수 있습니다.
혹시 구독자님의 회사는 다음과 같은 어려움을 겪고 계시지 않나요?
- AI 모델을 개발하고 학습 후 서비스를 위한 성능(Accuracy)은 달성했는데, 정작 최적화 엔지니어가 없어서 어플리케이션, 서비스로의 배포를 위한 실행최적화를 못하고 있어요!
- AI 서비스를 이미 제공하고 있지만, 비싼 클라우드 GPU 서버 인스턴스 사용료가 부담이 되네요. 흠... 경비를 절감할 수 있는 방안이 없을까?
- 서비스에 적합한 공개 SOTA 모델이 있지만 그대로 가져다 쓰기에는 우리 쪽 어플리케이션에 접목하기도 어렵고 운영 비용도 많이 들 것 같은데 어쩌지?
- 서비스에 사용되는 AI 모델을 통합적으로 관리, 배포, 모니터링을 하고 싶은데 그렇다고 비싸고 너무 복잡한 솔루션을 쓸 수는 없고 어쩌지?
- 비즈니스 도메인 기업이긴 한데 자체로 인공지능을 적용하기에는 기술적인 난이도도 있고... 어디 함께 공동 솔루션을 개발할 곳은 없을까?
그렇다면 언제든 아래 연락처로 문의 주세요. 함께 해결책을 고민해 드리겠습니다.
|
|
|
오늘의 뉴스레터는 여기까지
구독자님,
흥미로운 소식을 가지고
다시 찾아뵙겠습니다. |
|
|
구독해 주시면 좋은 소식, 정보로 보답하겠습니다. |
|
|
주식회사 소이넷
sales@soynet.io
경기 성남시 분당구 성남대로331번길 8 (킨스타워) 1503호
대표전화 : 031-8039-5377
|
|
|
|
|
