최근 AI를 활용한 영상/음성 합성 기술, 즉 딥페이크를 이용한 정보 왜곡과 조작 위험성이 더욱 높아지고 있고, 그 대상이 개인, 기업 및 국가로 확대되고 있습니다. 한편 코로나19에 의한 언택트 환경 확산은 정보보호의 틈새를 노출시키고 있는데, 이를 탐지하고 방지하는 AI 기반 멀티미디어 위/변조 검출 및 자동 탐지·분석 기술 또한 발전하고 있습니다.
이러한 새로운 위협에 대응하는 첨단 기술에 대해 알아보고자 삼성SDS 뉴스룸에서도 멀티미디어 위변조 관련 연재를 진행하려고 하는데요. 먼저 삼성SDS 사내벤처로 AI 기반 멀티미디어 위변조 탐지 솔루션을 개발하고 있는 팀나인을 만나봤습니다!
Q. 안녕하세요? 팀나인에 대해 간단히 소개 부탁드려요.
A. 안녕하세요, 팀나인은 AI 기반 멀티미디어 위변조 대응 플랫폼을 지향하는 삼성SDS 사내벤처(소사장)입니다. 신사업 아이디어 공모 프로그램 XEED-LAB (씨드랩) 을 통해 2020년 2월 구성되었고, 현재 팀원 8명이 개발, 기술전략, 사업기획을 맡고 있습니다. 저희는 딥페이크와 칩페이크의 탐지, 그리고 위변조 시도를 사전 차단하는 기술을 연구하고 있습니다.
Q. 팀나인은 어떤 아이디어로 시작되었나요?
A. 2019년 ‘AI로 합성한 음성(Deep Voice)을 악용한 보이스 피싱 피해 사건’이 발생했다는 걸 외신에서 접하면서 딥페이크의 잠재적 위험을 알게 되었습니다. 그 해 12월 개최된 사내 XEED-LAB 공모전에서 딥페이크의 잠재적 위험을 알리면서, 기술적인 아이디어를 제안했어요. 딥페이크를 삼성SDS가 앞장서서 해결해야 하는 과제로 발표하면서 선발되었습니다.
Q. 그렇다면 딥페이크가 무엇인지 쉽게 알려주실 수 있을까요?
A. 딥페이크는 딥러닝(Deep Learning) 기술과 가짜(Fake)의 합성어입니다. 인공지능, GAN을 활용한 이미지, 영상 및 음성 합성 기술을 의미하죠. 지난 2017년 미국 최대 커뮤니티인 레딧(Reddit.com)에 등장한 연예인 얼굴과 포르노그래피 합성이 최초(1)였고, 이후 사람의 눈으로 구별이 어려울 정도로 점점 진짜같이 만들어지고 있어요. 사진에서 보시는 대로, 비행기, 기차, 버스, 자전거, 화초, 고양이, 거실과 심지어 인공위성 사진까지 정말 그럴듯하죠. 저 개인적으로는 오리의 발 부분이 이상해서 알아는 봤지만 그런 경우는 백 번에 한 번 있을까 하다고 봅니다.
(1) We Are Truly Fucked: Everyone Is Making AI-Generated Fake Porn Now (vice.com)
GAN(Generative Adversarial Network : 생성적 적대 신경망)으로 생성된 다양한 딥페이크 이미지들. 점점 더 진짜처럼 진화 중입니다.
+ GAN(Generative Adversarial Network : 생성적 적대 신경망) 개념과 이해 바로가기
Q. 정말 진짜 같은 가짜들이네요. 이런 딥페이크로 인한 피해 사례는 무엇이 있을까요?
A. 초기에는 연예인, 정치가를 대상으로 한 악의적 합성 사진, 영상으로 시작되었어요. 예전에는 포토샵 같은 사진 합성 프로그램이 널리 쓰였다면, 이제는 인공지능의 힘을 빌려 훨씬 그럴듯한 합성물을 만들어낸다고 할 수 있죠. 점차 그럴듯한 가짜 뉴스에도 사용되면서 시민들에게 혼란을 주고, 사실을 왜곡하려는 목적으로 악용되는 상황입니다. 최근에는 기업과 일반인으로 까지 그 공격 대상이 확대되고 있는데, 이에 대해 IT 전문 조사 기관인 Gartner(가트너)는 ‘기업 경영진에게 딥페이크 방어 전략이 필요하다(2)’는 분석과 함께 2023년부터 전체 금융 사기 범죄 20%에 딥페이크 기술이 악용될 것(3)'으로 예측하기도 했습니다. 2021년 4월, 일본 후쿠시마 지진 발생 관련 인터뷰 도중 웃음을 지어 SNS에서 맹비난을 받은 가또 가쓰노부 관방장관 사진도 딥페이크(4)로 조작된 사례입니다.
(2) Executives Need a Deep-Fake Defense Strategy (’21.6)
(3) In 2023, 20% of successful account takeover attacks will use deepfakes to socially engineer users to turn over sensitive data or move money into criminal accounts. (’21.1)
(4) 加藤官房長官、フェイクの笑み…AI で悪意の改変［虚実のはざま］第２部 作られる「真相」
Q. 딥페이크 피해가 심각하네요. 기업이나 국가에서는 어떤 고민을 하고 있을까요?
A. 딥페이크가 사회적 문제가 되고 보안 위협이 현실화되면서 최근 Meta(이전 Facebook)나 Microsoft 같은 글로벌 IT 기업들도 딥페이크 탐지 경진대회를 개최하거나 연구를 후원 하는 등 대응하고자 노력하고 있어요. 각국에서도 딥페이크 관련 법안을 마련하는 등 피해를 방지 대책을 마련 중이고요.
Q. 그렇군요. 이제 팀나인의 딥페이크 탐지 기술에 대해 여쭤보고 싶은데요. 딥페이크 탐지 방법에는 무엇이 있는지, 팀나인 기술만의 특징이 있다면 무엇인지 궁금합니다.
A. 딥페이크 탐지 방법에는 ‘이미지 기반 탐지(Image based detection), 신체 특징 기반 탐지(Physiological Features detection), 주파수 기반 탐지(Frequency based detection)’ 등 크게 3가지 기법이 있습니다.
탐나인이 구현한 탐지 기술은 딥페이크 이미지에 포함된 인공물(Artifact, 이하 아티팩트)을 평균 2초 이내에 99.99%의 정확도로 구별합니다. 현재 국내 및 해외 고객사에서 딥페이크 이미지 탐지 기술을 제공하고 있고요. 아티팩트는 AI가 딥페이크를 만들 때 함께 생성되는 일종의 노이즈인데, 이 역시 초기에는 사람의 눈으로도 구별이 가능했지만 합성 기술이 발전한 지금에는 고도의 탐지 엔진을 통해서만 구분이 가능합니다.
또한 팀나인은 주파수 기반 탐지 기법과 비학습 GAN 탐지를 병행하여 차별화를 시도하고 있습니다. AI는 사람 얼굴이면 얼굴, 자동차면 자동차 등 학습 도메인에 대해서는 탐지가 잘 되는 반면 고양이, 건물 등 학습을 거치지 않은 사진은 탐지 정확도가 떨어지는 문제가 있습니다. 마치 한 권의 영어 문제집을 반복해서 풀었던 학생에게 그 문제집에서 시험이 출제되면 만점을 받을 확률이 높은 경우라고 할 수 있겠네요. 문제는 지금 이 시간에도 발전하고 있는 딥페이크 생성 기술이 무궁무진하기 때문에, 학습을 통한 탐지로 이를 대응한다는 것은 너무 늦다고 생각했어요. 그래서 저희 팀나인은 아티팩트 자체를 학습에 활용하는 새로운 탐지 모델을 구현한 결과 기존 모델과 달리 학습되지 않은 새로운 환경에서도 높은 탐지 성능을 얻을 수 있었습니다. 지금도 학습하지 않은 GAN을 탐지하기 위해 저희는 계속 연구하고 있습니다.
오른쪽) 팀나인 멤버의 여권 사진 (REAL 99.93% 판정)
Q. 딥페이크에 대한 설명 잘 들었습니다. 그렇다면 칩페이크는 무엇이고 어떻게 탐지하죠?
A. Fake(가짜)의 합성어인데 딥페이크에는 인공지능 서버 등 비용이 발생하다 보니 비교적 저렴하게 사람 손으로 조작한다는 의미로 칩페이크라는 표현이 생기지 않았나 이해하고 있어요. 다른 표현으로는 Deepfake의 반대로 Shallowfake라고도 부르고, 여기에는 포토샵, 그림판 같은 소프트웨어를 사용하는 방법과 타인의 실물 신분증을 스캔한 인쇄물을 촬영해서 제출하는 물리적 방법이 포함됩니다.
코로나19 확산 방지를 위해 기업들이 제공하는 모바일 기반 비대면 서비스 환경에서 신분증 위변조 등 칩페이크 피해가 발생하고 있어요. 최근 대구에서 식당을 운영하는 60대 자영업자 A 씨가 2억 원이 넘는 피해를 입었습니다. 인터넷 뱅킹도 안 하고 공인인증서조차 사용하지 않는 그였지만 누군가 A 씨 명의로 휴대전화를 몰래 개통해 비대면으로 대출을 받고 잠적(5)한 경우가 있었습니다. 이러한 피해를 막기 위해서는 비대면, 온라인 환경에서 제출되는 신분증 사진의 진본 여부 확인 기술이 매우 중요해요. 기존에는 신분증이나 영수증 편집 여부를 확인하기 어려웠는데요. 팀나인이 신분증 실물, 인쇄물, 화면 촬영물 이미지에서 관찰되는 특징을 구분하는 기술을 구현한 결과, 비대면 계좌 개설이나 본인 인증, 보험료 청구 시 제출하는 영수증의 위변조 여부를 알아볼 수 있게 되었습니다.
(5) ‘누군가 내 이름으로 2억 대출’ 비대면 대출의 허점, MBC
이와 같이 눈으로 보는 특징 그대로를 컴퓨터에게 가르쳐서 구분할 수 있도록 하는 것이죠.
Q. 지금까지 알려주신 탐지 기술을 사용하려면 뭔가 전문적 지식이 필요할 것 같은데요, 쉽게 알아볼 수 있는 방법은 없을까요?
A. 사실 인공지능과 관련된 기술은 별도 프로그램 언어를 알아야 하고, ‘마우스보다는 키보드를 써서’ 찾고 있었습니다. 이 부분을 불편해하는 사용자들을 위해 최근 모바일 브라우저에서 동작하는 챗봇 기반 미디어 검증 필터를 개발했습니다. 챗봇은 Chat + (ro)bot의 합성어인데 사용자와 채팅하는 로봇입니다. 채팅창에서 기능 안내를 보고 선택해 딥페이크나 칩페이크 여부를 분석하고 그 결과를 즉석에서 확인할 수 있습니다.
Q. 쉽고 빠르게 분석 결과를 알아볼 수 있네요. 지금까지는 어려움 없이 잘 진행된 이야기만 들었는데, 혹시 팀나인이 갖고 있는 고민이 있을까요?
A. 음.. 현재 페이크 이미지의 생성과 탐지 기술은 마치 컴퓨터 바이러스와 이를 막는 안티 바이러스의 경우처럼 서로 경쟁적으로 발전하고 있어요. 아무래도 따라가는 입장이다 보니 저희 혼자 모든 위변조를 탐지할 수는 없다는 생각에 국내 및 해외 파트너사와 협력을 진행하고 있습니다. 그런데 기술적 관점에서 보면 딥페이크나 칩페이크 탐지 자체가 이미 생성된 미디어에 대한 사후 탐지잖아요. 위변조 시도 자체를 사전 차단함으로써 궁극적으로 사고 근절이 가능한 기술까지 별도로 연구하고 있습니다. 지금까지 말씀드린 내용이 짧지 않다 보니, 선제적으로 방지하는 기술은 연재를 통해 소개할게요.
Q. 네 알겠습니다. 앞으로 팀나인의 포부나 목표가 있다면 무엇일까요?
A. 팀나인이 올해로 2년 차를 맞이했어요. 저희가 제공하는 ‘위변조 미디어 탐지 기술’이 사회에서 사용자 간의 신뢰 회복에 도움을 주면 좋겠다는 목표가 있어요. 궁극적으로 ‘기술로 사람의 삶을 이롭게 하는 것’인데요. 이를 위해서는 탐지 기술 개발과 글로벌 수준의 공동 대응, 그리고 딥페이크의 잠재적 위협에 대한 사회적 인식 제고가 필요할 것으로 생각됩니다. 아! 그리고 팀나인이 개발한 ‘비대면 계좌 개설 시 신분증 진위 판별이 가능한 AI 기술’이 국내 증권사에게 적용될 예정입니다. 국내 최초 신분증 진위 판별 사례인데요. 여러 증권사에서 관심을 갖고 있다는 긍정적인 신호도 있습니다. 저희는 기술 개발에 더욱 매진하여 비대면 시대의 금융 피해 사전 방지에 앞장서는 팀나인이 되도록 하겠습니다.
소셜 팬 여러분~ 영화나 드라마, 뉴스에서 보던 AI 기반 멀티미디어 위변조와 탐지에 대해 조금은 이해가 되셨나요? 멀티미디어 위변조로 큰 이슈가 발생했을 때 모두들 팀나인의 탐지 솔루션을 떠올릴 수 있게 되기를 기대해 보면서, 앞으로 전개될 딥페이크 연재에도 많은 관심 부탁드립니다!
