딥페이크… 진짜보다 더 진짜 같은 가짜가 나타났다

심층 학습하는 인공지능 이용해
2013년 사망한 만화 ‘심슨’의
성우 목소리 똑같이 재현

2013년 11월 3일, 미국 인기 애니메이션 시리즈 심슨 가족에서 주인공 바트 심슨의 선생님인 에드나 크라바플이 하차했다. 1989년부터 24년간 사랑받던 캐릭터가 사라진 것은 크라바플의 목소리를 연기했던 성우 마샤 윌리스가 유방암으로 별세했기 때문이었다.

 

영국 IT 전문 와이어드는 지난 7일(현지 시각) “심슨 가족의 최신 에피소드에 크라바플이 다시 등장해 작별 인사를 전했다”면서 “과거에 방영된 에피소드에서 성우 윌리스의 목소리를 추출하고 분석해 똑같은 목소리를 만들어내는 ‘딥페이크(deepfake)’ 기술 덕분”이라고 보도했다.

 

조상 사진 넣으면 동영상으로

딥페이크는 인공지능(AI) 기법인 딥러닝(deep learning·심층 학습)을 이용한 기술이다. 딥러닝을 이용하면 기존 데이터를 학습해 종류를 분류하거나 새로운 조합법을 찾아낼 수 있다. 구글 딥마인드의 알파고(AlphaGo)가 기보를 학습해 바둑을 배운 뒤 인간 챔피언까지 이기게 된 것이 대표적이다.

 

알파고 이후 딥러닝은 이미지, 소리, 영상 등으로 영역을 급속히 넓혀왔다. 딥페이크는 이 딥러닝과 ‘가짜’를 뜻하는 페이크(fake)를 합한 말로, 실제로는 존재하지 않는 음성이나 이미지, 동영상 등을 만들어내는 기술을 뜻한다. 딥페이크 기술은 이미 진짜와 가짜를 구별할 수 없는 수준까지 발전했다. 불과 2~3년 전만 해도 특정한 사람의 목소리를 만들려면 그 사람의 대화 30~50시간 분량이 필요했다.

 

하지만 점차 많은 데이터가 쌓이면서 이제는 10~20분만 있으면 누구의 목소리도 만들 수 있다. 다만 한계는 있다. 와이어드는 “사람은 감정 기복에 따라 굉장히 넓은 음역대의 목소리를 낸다”면서 “데이터 분량이 적을수록 감정 표현이 메마르게 느껴지는 목소리가 만들어진다”고 했다. 와이어드는 머지않아 성우가 완전히 딥페이크로 전환될 수 있다고도 내다봤다.

 

심슨 가족은 회당 성우 비용이 1998년에는 3만달러(약 3400만원)였지만, 이제는 40만달러(약 4억5500만원)가 넘는다. 하지만 딥페이크 기술을 이용하면 AI 기술만으로 무궁무진한 목소리를 만들어낼 수 있다. 심지어 사람과 달리 영원히 같은 목소리를 낼 수 있다.

딥페이크 기술은 동영상 분야에서도 엄청난 발전을 이뤘다. 최근 소셜미디어 틱톡에는 배우 톰 크루즈가 등장하는 영상 3편이 게시됐다. 골프를 하고 동전 마술까지 하는 크루즈의 모습은 큰 화제를 모았지만, 딥페이크로 만든 가짜 동영상이었다. 톰 크루즈의 얼굴과 표정을 AI에 학습시킨 다음, 제작자가 원하는 입술 모양과 표정을 촬영해 합성하는 식이다.

지난달 12일에는 유튜브에 링컨 전 미국 대통령의 동영상이 올라왔다. 링컨은 생생한 목소리로 “딥노스텔지어라는 회사에서 내 후손과 친척을 찾을 수 있었다”고 말한다. 살아 움직이는 것 같은 이 영상 역시 딥페이크로 만들어졌다. 영상에서 등장한 회사 딥노스텔지어는 자신의 가계도를 찾는 ‘마이 헤리티지’ 사이트를 운영한다.

 

이 회사는 얼마 전 가족이나 조상 사진을 짧은 동영상으로 만들어주는 딥페이크 서비스를 시작했다. 사이트에 사진을 올리면 사진 속 인물의 얼굴과 눈동자를 움직이는 동영상이 만들어진다. 마치 영화 해리포터 시리즈 속 초상화처럼 살아 움직이는 것 같은 사진을 만들어주는 것이다. 이스라엘 스타트업 D-ID가 2018년 만든 이 기술은 당초 유명인들의 동영상을 주로 선보였지만 데이터가 쌓이면서 이제는 어떤 인물 사진을 넣어도 동영상으로 만들어낸다. 밀로의 비너스나 석고상도 가능하다.

정치·사회적 악용 우려

일각에서는 딥페이크 기술이 정치, 사회적으로 악용될 가능성이 높다는 우려도 나온다. 실제로 지난해 미국 대선에서는 조 바이든 후보의 얼굴을 조작한 영상이 확산됐고, 버락 오바마 전 미국 대통령 등 유명인들의 딥페이크 영상도 지속적으로 등장하고 있다. 이들이 혐오·인종차별 발언을 쏟아내면 사회적으로 큰 혼란이 일어날 수도 있다.

 

한국에서도 아이돌이나 지인 얼굴에 누드를 합성한 포르노 딥페이크가 사회문제화하고 있다. 미 플로리다주 상원의원 마코 루비오는 “과거에는 미국을 위협하려면 항공모함 10대와 핵무기, 장거리 미사일이 필요했다”면서 “하지만 지금은 진짜 같은 가짜 동영상을 만들면 된다”고 말했다.

딥페이크를 식별하는 기술도 등장하고 있다. 마이크로소프트는 ‘비디오 인증’이라는 도구로 사진이나 영상이 인위적으로 조작됐을 확률을 계산해 알려준다. 사람 눈으로는 구별하기 어려운 조작을 찾아내는 것이다. 페이스북도 딥페이크 영상을 자동으로 걸러내는 시스템을 활용하고 있다. 한국에서도 보안 업체인 인섹시큐리티, AI 업체 머니브레인 등이 딥페이크 식별 기술을 선보였다.

 

[박건형 기자 defying@chosun.com]     입력 2021.03.11