‘딥페이크’를 이용한 성범죄 사건 발생이 증가하면서 이제 딥페이크라는 용어만 나오면 사람들은 부정적인 이슈를 먼저 떠올린다. 디지털 성범죄, 가짜뉴스 등에 악용되는 사례가 늘어날수록 대부분 딥페이크를 나쁜 기술이라고만 생각하기도 한다. 그러나 딥페이크는 마냥 나쁜 기술이 아니다. 영화, 의료, 방송 등 여러 방면에서 사용되는 딥페이크는 인간 삶의 가치를 높이고 있다. 영상을 복원하고 과거 사람들의 모습을 재현하며 잊고 살았던 기억에 생동감을 불어넣어 주기도 한다. 부작용이 많아 여전히 우려 섞인 목소리가 크지만, 부정적인 면만 있는 것이 아닌 딥페이크. 우리 사회를 긍정적인 방향으로 이끄는 딥페이크의 진면모를 알아보려 한다.

1. 딥페이크?

(1) 정의

딥페이크(deepfake)는 딥 러닝(deep learning)과 페이크(fake)의 합성어로 인공지능 기술을 이용해 제작된 가짜 동영상 또는 제작 프로세스 자체를 일컫는다. 딥페이크라는 단어는 2017년, 미국 대형 온라인 커뮤니티 ‘레딧(Reddit)’의 동명의 닉네임을 사용한 유저가 유명인의 얼굴을 성인물에 합성해 올린 것에서 유래했다.

썩 유쾌한 유래는 아니지만 이 사건 이후 딥페이크는 언론과 대중의 큰 관심을 받게 됐으며, 수많은 딥페이크 비디오가 출현했다. 인공지능 기술을 사용해 현실에 존재하지 않는 것이나 발생한 적 없는 사건과 이미지, 비디오, 오디오 등을 합성하는 딥페이크. 처음에는 유명인들의 가짜 인터뷰나 영화 속 캐릭터를 재구성하는 재미 요소로 시작했지만, 점차 ▲가짜뉴스 ▲허위 정보 유포 ▲정치적 선동 ▲범죄적 목적으로 악용되고 있다.

(2) 기술

사진에 조작을 가하는 기술은 19세기부터 발달해 1997년에는 자동화된 영상 시스템으로 진화하기도 했다. 이후 2013년 발표된 VAE(Variation Auto Encoder, 가변 자동 인코더)나 2014년 발표된 GEN(Generative Adversarial Network, 생성적 적대 신경망)과 같이 이미지 알고리즘이 개발됐고, 딥러닝이 얼굴 합성이나 특징 바꾸기 등의 기술에 적용되며 발전됐다. 이러한 기술을 기반으로 하는 딥페이크는 2017년부터 급격히 발전하기 시작했으며 이제는 전문가뿐만 아니라 일반인도 온라인에서 딥페이크를 이용해 가짜 콘텐츠를 만들 수 있다.

딥페이크는 두 가지 주요 기술로 구성돼있다고 볼 수 있다. 첫 번째는 ‘Autoencoders’다. 이는 입력된 데이터를 압축하고, 압축된 데이터를 바탕으로 원래의 데이터와 유사한 형태로 복원하는 신경망이다. 딥페이크에서 특정 인물의 얼굴 특징을 학습하고 이를 변형하거나 다른 인물의 얼굴에 적용해 실제처럼 보이는 합성 이미지를 생성하는 데 사용된다. 

두 번째 기술은 ‘GEN’이다. 이는 두 개의 신경망, 즉 생성자 (Generator)와 판별자(Discriminator)가 서로 경쟁하면서 학습하는 구조를 가진다. 생성자는 무작위로 이미지를 생성해 진짜처럼 보이도록 하며 비현실적인 초기 이미지가 학습이 진행될수록 더욱 정교해지며 판별자를 속일 수 있는 수준에 다다르게 한다. 판별자는 생성자가 만든 이미지가 진짜인지 가짜인지 구별하는 역할을 하며 판별자는 진짜 데이터와 생성된 가짜 데이터를 비교하며 더 나은 구분 방법을 학습하게 된다. 

이러한 기술들을 바탕으로 딥페이크 콘텐츠는 보편적으로 다음과 같은 과정을 거친다. 1. 얼굴 데이터 수집 단계로, 원본 영상에서 대상 인물의 얼굴 데이터를 추출한다. 2. 모델 학습 단계로, 추출된 얼굴 데이터를 이용해 GEN 모델을 학습한다. 3. 합성 및 대체로, 학습된 모델을 사용해 대상 인물의 얼굴을 다른 얼굴로 대체한다. 4. 세부 조정으로, 최종 영상의 자연스러움을 위해 음영, 표정 변화 등을 미세하게 조정하는 과정을 통해 딥페이크는 고도의 사실적인 영상을 생성하게 된다. 

국립부산과학관에 따르면, 딥페이크는 얼굴 데이터 수집 단계에서 머리 외곽선을 통째로 따서 합성하지 않고, 안면윤곽 안쪽 부분에 피부색과 눈, 코, 입 부분만 합성해 바꿔치기 하는 방식이다. 그뿐만 아니라 사람의 인상에는 헤어스타일과 안면윤곽이 크게 작동해, 합성 대상이 원본과 확연히 다른 안면윤곽을 가지고 있다면 합성 자체는 자연스럽게 이뤄졌다 하더라도 그냥 제 3의 인물처럼 보일 수도 있다는 특징을 가진다. 

2. 인공지능 IN 우리 사회

이러한 딥페이크 기술의 활용도는 무궁무진하며, 이미 우리 사회 깊숙이 들어와 인간 삶의 가치를 높이고 있다. 이미 사망한 사람의 비디오를 재현하거나, 영화 속 배우의 젊은 시절을 복원하기도 한다. 우리가 이미 알고 있는 분야부터 모르고 있는 부분까지 구체적으로 알아보자. 

[활용사례 1] 엔터테인먼트 (영화, 드라마, 광고 등)

‘딥페이크 활용’하면 가장 먼저 떠오르는 분야는 엔터테인먼트 분야다. 해당 산업에서는 배우의 나이, 고인의 복원, 목소리 합성 등 다양한 방식으로 활용된다. 실제로 영화 <분노의 질주> 시리즈 가운데 ‘더 세븐’ 촬영 기간 중 배우 풀 워커가 사고로 사망하자, 20% 정도 남아있던 분량을 대역으로 세우고 풀 워커의 음성과 모습을 딥페이크로 합성해 완성했다. 영화 <아이언맨> 시리즈에서도 딥페이크 기술을 이용해 배우 로버트 다우니 주니어의 젊은 시절 을 재현했다. 영화뿐만 아니라 ‘그것이 알고 싶다’는 프로그램에서 2021년 딥페이크 범죄 피해자의 모습을 모자이크가 아닌 딥페이크 기술을 이용해 가상 인간을 제작해 익명성을 보장하면서도 시청자들에게 이들의 표정을 통해 감정을 전달했다. 

딥페이크는 마케팅과 광고 분야에서 고객 맞춤형 콘텐츠 제작, 비용 절감 그리고 브랜드 차별화에 효과적으로 활용될 수 있다. 특히 소비자 맞춤형 광고를 제작하는데 매우 유용하다. 그뿐만 아니라 딥페이크의 얼굴 및 음성 합성 기술을 활용해 지역화된 메시지를 전하는데도 특화돼 있다. 실제로 호나우지뉴, 다비즈, 호날두 등 다양한 세대의 축구 스타들이 경기하는 모습을 보여준 Nike의 ‘Footballverse’ 광고 캠페인은 과거와 현재의 축구 선수들이 같은 경기장에서 맞붙는 상상을 구현했다. Nike는 이 광고를 통해 세대 간의 축구에 대한 열정과 연결성을 강조하며 몰입감 있는 경험을 제공했다.

[활용사례 2] 의료

딥페이크는 발음 장애나 실어증을 겪는 환자들에게 목소리를 복원하거나 맞춤형 의사소통 장치를 제공하는 환자 맞춤형 치료 경험이 가능하다. 또, 가상 상담 환경을 구축함으로써 다양한 시나리오를 시뮬레이션하며 환자의 반응에 적절한 대응 전략을 연습하는 등 치료사들의 훈련도 돕는다. 실제로 Team Gleason은 루게릭병을 앓고 있는 환자들이 자신의 목소리를 복제해 소통할 수 있도록 돕는 프로젝트를 진행 중이다. 

의료 현장에서 일하는 의료진과 그 당사자인 환자들에게 직접적으로 영향을 미치기도 하지만, 이미지 패턴 매칭 기술을 이용해 암 진단을 하는 등 질병 예방 연구에 사용되기도 한다. 실제로 2019년 7월 독일 뤼벡대학교 의료정보학연구소에서는 CT, MRI, X선 이미지를 분석해 다양한 암의 징후와 이상 신호를 탐지하는 모델을 개발했다. GEN을 이용한 딥페이크 의료영상을 통해 인공지능이 질병을 반복 학습하고 정확한 진단을 내리게 하는 것이다.

[활용사례 3] 공공 안전

딥페이크 기술은 ▲ 경찰 ▲ 소방관 ▲ 군인 등의 공공 안전 분야에서 훈련 환경을 보다 현실적으로 꾸미는 데 활용된다. 경찰은 실제 범죄 현장을 가상으로 재현해 범죄 수사 기법이나 대응 훈련을 진행한다. 단순한 모형 훈련을 넘어 실제 인물의 움직임, 대화, 표정까지 생동감 있는 훈련을 할 수 있다. 

군사 훈련에서는 잠재적인 적의 행동이나 전략을 재현하는 데 유용하게 쓰인다. 전투 상황에서 치명적인 리스크로 다가올 수 있는 오인사격이나 판단 실수 등을 딥페이크 기술을 활용한 반복 훈련으로 대응할 수 있다. 

소방관의 경우 딥페이크로 생성된 가상의 화재 현장에서 불길의 확산, 연기의 흐름, 탈출 경로 등 복잡한 환경적 요소들을 판단하고 전략적으로 행동하는 방법을 연습할 수 있다. 이처럼 딥페이크는 현장을 실감나게 재현해 우리 사회의 위험 요소를 줄이고, 그 요소에 대응할 수 있는 능력을 길러낸다. 

[활용사례 4] 재회 (죽은자들과의 만남, 새로운 추모 방식)

딱딱한 기술과 코드로 이뤄진 딥페이크는 따뜻한 기억을 재현해 주기도 한다. 대표적으로는 음성 인식 기술이나, 얼굴 인식 기술로 고인의 모습을 재현하는 방법이 있다. 온라인 가계도 서비스를 제공하는 마이헤리티지(MyHeritage)에서는 고인이 된 가족, 순국열사 등을 새로운 방식으로 추모할 수 있다. 생전 모습이 담긴 사진이나 그림 등을 마이헤리티지 플랫폼에 업로드하면 화질을 개선한 후 사진이나 그림을 잘게 분할한다. 그 후 분할된 조각에 맞는 각도와 표정을 원본에 덮어씌우고 동영상을 프레임 단위로 자른 뒤 합성해 자연스러운 형태로 고인의 모습을 제공한다.

딥페이크에 VR/AR, 음성 복원 등의 기술을 더하면 이보다 더 큰 감동을 주기도 한다. Mnet 프로그램인 ‘AI 음악 프로젝트, 다시 한 번’에서는 고인이 된 가수들을 재현했다. 2008년 심근경색으로 세상을 떠난 거북이 터틀맨의 생전 영상과 목소리를 복원해 완전체로 다시 한 번 무대를 하는가 하면, 1996년 우리 곁을 떠난 가수 김광석의 생전 목소리로 음성 복원을 시도해, 사후 발매된 노래를 부르기도 했다. 그뿐만 아니라 ‘MBC 다큐멘터리 너를 만났다’에서는 목소리, 말투, 몸짓 등을 기존 사진이나 영상으로 분석하고, 모션 캡쳐, 3D 등의 기술을 통해 7살의 어린 나이로 세상을 떠났던 어린 딸을 복원했다. 비록 VR 장비를 착용한 가상 세계였지만, 다시 한 번 만나고 싶었던 딸과 함께 소중한 시간을 보내는 장면은 딥페이크 기술이 우리 사회에 선물할 수 있는 따뜻한 마음을 보여줬다. 

3. 딥페이크, 제대로 알고 구별하자

(1) 위험성

딥페이크로 인해 삶이 윤택해진 것은 사실이다. 그러나 기술에는 반드시 명암이 함께 존재하기 마련이다. 딥페이크 역시 그렇다. 

가장 대표적인 유형에는 두 가지가 있다. 첫째, 가짜뉴스 확산이다. 유명 정치인의 얼굴을 합성한 딥페이크 연설 영상은 텍스트로 된 가짜뉴스와 비교하면 그 파급력이 배가 된다. 실제로 딥페이크의 위험성을 알리기 위해 버락 오바마 전 미국 대통령이 “트럼프는 천하에 쓸모없는 놈”이라고 말하는 딥페이크 영상을 제작하자 미국 사회에 큰 파급력을 가져왔다.

둘째, 위조 포르노 피해의 확산이다. 한국 케이팝 가수, 배우뿐만 아니라 미국 할리우드 유명 여배우 등의 얼굴을 복사해 위조 포르노를 제작 및 유통하는 경우가 증가한 것이다. 사이버 보안 연구회사 딥트레이스의 보고서에 따르면 2019년 유통된 딥페이크 영상 1만 4,698점 가운데 96%는 포르노로 소비됐으며, 그중 얼굴 합성 피해자는 미국(영국) 여배우가 46%, 한국 케이팝 가수가 25%로 큰 비중을 차지했다.

(2) 구별 방법

이러한 위험성에 대비하기 위해 실제 이미지와 딥페이크 이미지를 판별하는 모델이 개발되고 있다. 그뿐만 아니라 많은 국가가 딥페이크에 대한 정책과 법률을 검토하고 있다. 대한민국은 지난 5월, 딥페이크 가짜뉴스를 막기 위한 방안으로서 ‘AI 생성물’에 대한 워터마크 표시를 의무화하기도 했다. 이제는 우리 사회에 만연해진 딥페이크. 일상생활 속에서 우리가 이를 구별할 수 있는 방법을 일반적인 관찰법과 기술적인 관찰법으로 나눠 알아보자.

일반인이 딥페이크를 구별하는 방법은 가장 기본적인 것으로 눈, 입술, 조명, 배경 등을 주의 깊게 체크해야 한다. 

첫째, 눈동자와 눈꺼풀의 움직임을 관찰해야 한다. 실제 사람의 눈에서는 자연스러운 눈 움직임이나, 눈동자의 초점, 반사광 등이 어색하다면 합성 영상일 수 있다. 

둘째, 입술과 음성의 동기화 여부를 확인해야 한다. 딥페이크에서는 입술 움직임과 실제 음성이 제대로 맞지 않거나 입 주변의 주름이나 피부 텍스처가 어색한 경우가 많기 때문이다. 

셋째, 조명과 그림자를 체크해야 한다. 실제 영상에서는 조명에 따른 그림자가 자연스럽게 드리워지지만, 딥페이크에서는 그림자의 위치나 농도가 실제와 달라 부자연스러울 수 있다. 

넷째, 배경과 인물 사이의 조화를 확인해야 한다. 배경 시야각의 왜곡, 피사체 그림자와 배경 그림자의 차이가 이질적으로 느껴진다면 의심해 봐야 한다. 

기술적 딥페이크 구별법은 분석 도구를 활용해 더욱 정확하게 딥페이크 여부를 가려낼 수 있다. 

첫째, 포토포렌식 도구의 활용이다. 대표적으로는 ‘포토 DNA Metadata’와 같은 프로그램이 있는데, 사진이나 동영상 파일의 메타데이터를 분석해 편집 여부를 알려준다. 촬영 시간, 기기 정보, GPS 데이터 등을 종합적으로 검토할 수 있다. 

둘째, ELA(Error Level Analysis) 기법이다. 편집된 부분은 압축 레벨이 달라 다른 색상으로 표시되기에 영상의 다양한 압축 레벨을 색상으로 시각화해 이미지 편집 여부를 판단하는 기법이다. 

셋째, 프레임 단위 분석이다. 일반 영상에서는 인접한 프레임들이 자연스럽게 이어지지만, 딥페이크에서는 부자연스러운 변화들이 발생할 수 있기에 프레임 단위로 꼼꼼히 비교분석할 수 있다.

넷째, 최신 딥페이크 탐지 AI 모델의 활용이다. 아마존, 마이크로소프트 등 빅테크 기업들이 공개한 딥페이크 탐지 모델을 사용하는 방법인데, 지속적으로 이와 유사한 AI 모델들이 업데이트되며 탐지 정확도가 점점 높아진다는 특징이 있다. 

이처럼 딥페이크에 속지 않기 위한 여러 가지 대책이 마련됐지만, 딥페이크 악용 방지를 위한 근본적인 대책은 국민 의식 제고에 있다고 본다. 국민 개개인이 경각심을 가지고 제대로 된 교육과 윤리관을 가지고 딥페이크 기술을 대한다면, 그 기술의 진면모가 우리 사회를 한층 더 나아가게 할 것이다. 

신해원 부장기자 hwlamb0428@gmail.com

<저작권자 © 창원대신문, 무단 전재 및 재배포 금지>