딥페이크 (deep fake) 기술 뜻

연예인 얼굴을 야한영상에 합성해 범죄로 악용된다고 뉴스 기사를 접하게 된것 같습니다. 막연하게 야동에 연예인 얼굴을 합성시킨다는 나쁜 이미지로만 인식하고 있었는데, 놀라우면서도.. 역시 좋은 기술은 좋은데, 적절히 잘 쓰여야 의미가 커지는 것 같습니다.

 

딥페이크(deepfake)란 AI 인공지능 기술을 활용해 사람 얼굴, 신체 이미지(사진)을 합성하는 기술입니다. 원본 사진 인물의 얼굴이나, 특정한 부위를 영화의 CG처리처럼 합성한 영상편집물을 딥페이크 라고 부릅니다.

합성하려는 인물의 얼굴이 주로 나오는 고화질의 동영상을 통해 딥러닝하여, 대상이 되는 동영상을 프레임 단위로 합성시키는 것입니다.

 

특징

머리 외곽선을 통채로 따서 합성하는 것이 아니고, 안면윤곽 안쪽 부분만 피부톤을 맞춰 바꿔치기하는 방식. 즉, 눈코입 부분만 합성하는 것입니다.

딥 러닝 방식의 특성상 주어지지 않은 정보에 대해서는 제대로 대응하지 못합니다. 즉, 아무런 방해물이 없는 상태의 일반적인 얼굴 표정은 잘 합성해내지만, 얼굴 근처에 다른 물체가 있다거나, 얼굴 자체가 프레임에서 일부 잘려나갔거나, 일반적으로 잘 볼 수 없는 매우 특이한 표정을 지었다거나 하면 덮어씌운 듯한 매우 부자연스러운 합성 결과가 나옵니다.

극단적인 경우 합성에 실패하여 그냥 원본 얼굴을 보여주기도 합니다. 합성 대상의 얼굴 표정 학습량이 적을 때에도 비슷한 일이 일어나는데, 이 때의 모습이 기괴한(?) 모습을 하기도 합니다.

 

음성(Sound)에는 손대지 않지만, 얼굴 표정을 적절하게 매칭시켜 합성을 하기 때문에 목소리가 다르다 하더라도 입모양이 발음과 일치하여 자연스럽게 느껴집니다.

이러한 특성을 인지하고 있으면 중저급 영상은 쉽게 간파할 수 있으나, 반대로 이런 약점을 피하기 위해 합성 대상이 되는 사람과 비슷한 체형 및 얼굴형을 가진 사람이 찍힌 영상을 고르고, 대상자의 얼굴 표정을 매우 다양하게 학습시킨 상태에서, 안면부분에 별다른 방해물이 없는 장면 위주로 작업을 해낼 경우에는 굉장히 자연스러운 결과가 나오게 됩니다. 말로만 듣던 딥러닝.. 놀랍습니다. ^^;;

 

과거 2D 수동합성이 기술자의 감각적 스킬에 의존한 반면, 딥페이크의 경우는 좋은 장비를 갖춘 상태에서 적절한 대상을 찾고 충분한 학습량을 먹여야 하는 식으로 바뀌었습니다. 자연스러운 수준의 딥페이크들은 서로 조명여건이 다른, 앞, 옆, 위, 그리고 아래 등 다양한 각도와 표정을 포함한 3분정도짜리 비디오 3개정도면 만들수 있다고 한다고 합니다.

 

문제점

아직은 싸고 조악한 수준의 영상들이 많아서 대부분 가짜임을 짐작할 수 있지만 영상의 화질이나 처리되는 데이터의 질에 따라 딥페이크 영상과 원본영상의 구분이 어려울 정도로 발전하는 추세입니다. 유명 연예인, 정치인들은 온라인에 공개된 리소스의 양이 당연히 많으므로 영상 합성이 용이하기 때문에 크게 문제가 되고 있다고 합니다.

이미 악용 사례가 나왔고 여러 나라의 많은 유명 여성 연예인들이 특정 영상에 얼굴이 합성이 되어 떠돌았고, 전부 삭제하는 조치를 취했습니다. 대표적으로 엠마 왓슨 사용한 영상이 있는데, 처음 보는 사람들은 분간이 안 갈 정도로 자연스럽습니다. 게다가 점점 더 빠른 추세로 일반인들에게 보급과 이용이 되고 있는 데다가 제작자가 차기 딥페이크는 구분이 거의 되지 않을 정도의 성능을 보여줄 것이라 공언하였고 실제로 문제 또한 심각해지는 것 같습니다. 딥페이크 보급이 용이해지면서 공공연한 딥페이크가 음지 내에서 만연하는데 적발이 어려운 사태가 벌어지고 있습니다.

2월 27일 그것이 알고싶다에서 보도되었으며 온라인 딥페이크 사용 목적의 무려 96%가 포르노그라피인 것으로 확인되어 분노를 사고 있습니다.

 

 

악용된 사례말고, 영화 아이언맨의 주인공을 톰크루즈로 딥페이크로 바꾼 영상이 있었습니다. 생각보다 자연스럽고, 이런게 가능하구나 라는 생각이 들었습니다. 시간되시면 한번 영상으로 보시면 놀라실것 같습니다. (아래 링크도 걸어줬는데, 소리가 나니 주의하세요 ^^;;)

 

www.youtube.com/watch?v=iDM69UEyM3w