위∙변조 사전 차단이란 무엇일까요?

2022-06-17 소셜크리에이터 윤관식 프로

지난 시간까지는 딥페이크(Deepfake)와 칩페이크(Cheapfake) 탐지에 대해 알아봤습니다. 이와 같은 위∙변조 검증 기술은 미디어가 변조된 이후, 즉 편집 사후 시점에 위∙변조 여부를 탐지하는 방법인데요. 학계와 관련 업계에서는 ‘향후 개발될 새로운 탐지 기술과 방법으로도 위∙변조된 미디어를 완벽히 막을 수는 없을 것’이라 말하며 우려하고 있습니다. 그렇다면 ‘미디어 위∙변조 시도 자체를 완벽하게 막을 수 있는 기술은 없을까?’ 궁금해지실 텐데요. 지금부터 미디어 위∙변조 사전 차단(이하 사전 차단, Proactive Media Forgery Prevention) 기술에 대해 알아보겠습니다.

사전 차단 원리

먼저 국제적으로 통용되는 미디어 위∙변조 사전 차단 기술에 대해 살펴볼게요. 아래 분류와 같이, 이미지 위∙변조 검증은 Active와 Passive 검증 영역으로 나뉩니다.

이 중 Passive 영역에 ‘Deepfake, Cheapfake detection’이 해당되는데요. 지금까지 Passive 영역 이미지 조작 감지에 수많은 기술이 도입되었지만, 위∙변조를 생성하는 기술이 훨씬 빠른 속도록 발전하다 보니 완벽하게 탐지하기란 쉽지 않았습니다. 반면 Active 영역은 사전 차단 관점에서 100% 위∙변조에 대한 검증이 가능하죠.

출처 : Blind Approach for Digital Image Forgery Detection, international Journal of Computer Applications vol. 179-no.10, Jan 2018 인용
https://www.ijcaonline.org/archives/volume179/number10/28839-2018916108

Active 영역에서 어떻게 100% 탐지가 가능한지 궁금하시죠? 지금부터 JPEG Privacy & Security에서 적용한 Digital Signature에 대해 알아보겠습니다.

JPEG Privacy & Security

우리가 촬영하는 스마트폰에서 생성되는 이미지는 JPEG 국제표준에 맞게 생성되고 있습니다. 디지털 촬영 장치를 통해 생성된 이미지가 여러 플랫폼을 통해 유통이 되는데요. 이 과정에서 이미지가 위∙변조되면서 사실 왜곡 문제가 발생하고 있습니다.

JPEG 국제표준 기구에서는 생성 디지털 이미지에 대한 위∙변조 방지 방법으로 Privacy & Security 관련 표준을 제정하고 적용했습니다. JPEG Privacy & Security 분야 Digital Signature에서는 이미지 부분과 메타 데이터(1) 특정 부분에 대한 Hash 값을 추출하고, 이 값을 특정 Key로 Sign(서명) 한 값을 ‘JUMBF(JPEG Universal Metadata Box Format)’라고 하는 특정 메타 데이터 영역에 포함시킵니다.
(1)촬영 기기, 생성/촬영/저장 시각/위치 등 JPEG 파일에 포함된 정보

모든 이미지에는 원본 이미지의 Hash 값이 포함되어 있습니다. 만약 메타데이터나 이미지를 수정하게 되면 포함되어 있는 Hash 값과 다른 값이 만들어지는데요. 수정되기 전 Hash 값과 수정된 이후 Hash 값을 비교해서 다른 값이 나오면 해당 이미지가 수정되었다는 사실을 쉽게 찾을 수가 있습니다. 팀나인은 해당 기술을 국제 최초로 적용하여 위∙변조를 사전 차단하는 기술 중 하나로 활용하고 있습니다.

출처 : 권오진 교수, JPEG Privacy & Security 관련 자료, 세종대학교

MpF(Multi-point Focus)

MpF(Multi-point Focus)란 팀나인이 자체 구현한 입체/평면 구분 기술 중 하나입니다. 먼저 입체 이미지를 가로와 세로로 임의 분할합니다. 이렇게 분할된 구역 중 특정 영역 하나에 카메라 포커스를 맞추면 가까운 부분과 먼 부분의 사진 선명도가 달라지게 됩니다. 다른 영역으로 카메라 포커스를 보내면 원근에 의해서 사진 선명도가 또다시 달라지게 되는데요. 이렇게 카메라 포커스에 따른 원근으로 사진 선명도가 달라진다는 점에서 아이디어를 얻었습니다. 입체 사진과 평면 사진을 여러 장 촬영하여 그 결과물을 AI로 학습을 시켰고, 입체, 평면 사진을 촬영해서 각각 판별을 해보니 이 피사체가 평면인지 입체인지를 구분할 수 있게 되었습니다.

Samsung SDS, ‘이미지 촬영 및 판독 방법, 이를 위한 장치’, 국내/해외 특허 출원서 인용 (2020.4)

Samsung SDS, DoFNet: Depth of Field Difference Learning for Detecting Image Forgery, ACCV 2020 인용
출처: https://bit.ly/3Qk9R25

ToF(Time of Flight)

ToF는 약자로 단말기에 포함되어 있는 LiDAR(Light Detection And Ranging) 센서의 하나인데요. 카메라에서 방출된 신호가 측정 범위 내 피사체까지 도달한 뒤 반사되어 되돌아오는 시간을 측정하는 기술입니다. 팀나인은 입체 피사체와 평면 피사체의 ToF가 다르다는 가정을 해봤습니다. 입체 피사체는 표면 굴곡에 따라 각 지점에서 되돌아오는 시간에 차이가 있고, 평면 피사체는 촬영되는 표면으로부터 돌아오는 신호의 시간에 큰 차이가 없을 거라는 가정이죠.

Samsung SDS, 팀나인 Show Case 자료 (2020.4)

팀나인은 이렇게 측정한 자료를 바탕으로 촬영 사진이 평면인지 입체인지 판별하는 기술을 확보했습니다.

Artifact 탐지

실물 또는 종이, 모니터 등을 촬영했을 경우 특정 패턴으로 모아레 현상이 사진에 나타나죠. Artifact는 이런 특징을 분석하고 학습하여 촬영된 사진이 실물을 촬영한 피사체인지, 위∙변조를 한 종이 또는 모니터에 출력된 피사체를 촬영한 것인지 분석하는 기술입니다. (자세한 내용은 Cheapfake(Shallowfake)란 무엇일까요?를 참고하시기 바랍니다.)

삼성SDS, 팀나인 내부 테스트 자료 (2021.4)

Adobe CAI

Adobe는 Photoshop을 통해 이미지 편집 프로그램의 사실상 표준을 제시합니다. 콘텐츠 진위 이니셔티브인 CAI(Content Authenticity Initiative)를 구성하고 사진과 비디오 등 모든 유형의 디지털 콘텐츠를 검증하고 있습니다. 특히 검증 가능한 신뢰 계층을 추가하는 오픈 소스 개발, 업체 간 협업과 운영을 통해 디지털 콘텐츠 출처를 확인할 수 있는 안전한 시스템 체계(C2PA: https://c2pa.org/)를 리드하고 있기도 해요.

CAI를 적용한 이미지는 촬영부터 편집, 게시 또는 소셜 미디어 공유에 이르기까지 전 과정을 자세히 알아볼 수 있는데요. 아래 이미지 오른쪽 상단에 있는 ⓘ 아이콘을 클릭해서 촬영, 편집, 게시 등의 정보를 확인합니다.

Adobe CAI, How it works 2020 (https://contentauthenticity.org/how-it-works)
참고 영상 : https://www.youtube.com/watch?v=Xd6vtHMlse4

Adobe CAI에는 대표 IT 기업 Microsoft, Twitter를 비롯해 ARM, Nikon 등의 제조사, 그리고 BBC 등 언론사까지 다수 참여하고 있습니다. 디지털카메라 센서에서 생성되는 콘텐츠 이력을 관리하고 클라우드에서 이 부분을 조회할 수 있다 보니 이 단체의 영향력은 점점 커질 것으로 예상되는데요. 팀나인에서도 이를 향후 솔루션 버전에 포함되어야 할지 검토하고 있습니다.

팀나인이 개발한 미디어 위∙변조 사전 차단 플랫폼

위∙변조 사전 차단을 위해 팀나인의 단말기 전용 애플리케이션으로 사진을 촬영하면 바로 서버로 전송됩니다.

이렇게 전용 애플리케이션으로 실시간 촬영한 사진은 서버 전송 > 블록체인 연계 > 저장 순서를 거치는데요. 실시간 분석을 통해 위∙변조 되지 않은 원본임을 증명하고, 분석 결과를 PDF 리포트 파일로 조회할 수 있습니다.

여전히 인터넷에는 사진·영상의 원본 또는 사본이 돌아다니고 있고, 그것의 위∙변조 미디어 데이터까지 유통되면서 개인이 피해를 입고 있는데요. 팀나인의 사전 차단 기술은 이러한 미디어 파일의 위∙변조를 사전 차단하고 원본 여부를 증명함으로써 사실 왜곡을 막고자 개발되었습니다.

다음 시간에는 Deepfake와 Cheapfake 사전 차단 사례와 관련 사업 분야에 대해 알아보겠습니다.

*본 연재 내용은 작성일 기준 공개된 객관적 연구 결과와 사실에 근거하여 작성되었지만, 회사의 방향과 다를 수 있음을 알려 드립니다.

+ AI를 활용한 멀티미디어 위변조에 대응하는 삼성SDS 사내벤처 팀나인
+ 누가 진짜일까? 딥페이크 생성과 탐지
+ Cheapfake(Shallowfake)란 무엇일까요?

이 글이 좋으셨다면 구독&좋아요

여러분의 “구독”과 “좋아요”는
저자에게 큰 힘이 됩니다.