안녕하세요. jihyeheo입니다:)

오늘은 딥페이크 기술을 좀 더 발전시킨 페이스 에디팅에 대하여 알아보았습니다.

이미 많은 데이크루분들이 잘 정리를 해두셔서 어떤 기술이 있는지 알아보며, 관련 내용을 요약해보았습니다.

재밌게 보셨다면 추천 하나 부탁드려요!!

* 본 포스팅은 데이콘 서포터즈 "데이크루 1기" 활동의 일환입니다.

--------------------------------------------------------------------------------------------------------------------------

최근 뉴스기사를 보면 인공지능(AI)를 이용하여 고인이 된 가수를 되살리고 가상현실(VR) 속에서 사별한 소중한 사람과 다시 만나게 하는 일 등 기술의 힘들 빌려 감동을 선사하는 방송 프로그램들이 많이 나오고 있습니다.

제가 최근에 본 뉴스기사에 따르면

다음과 같이 터틀맨의 목소리와 모습을 AI로 재현한 모습을 보여주거나,

다음과 같이 울랄라세션의 고(故) 임윤택씨의 무대를 AI 기술로 복원한 내용을 보았습니다.

또한 분데데분님의 [정보TALK] Deep Fake, 이대로 괜찮을까? (https://dacon.io/forum/405982?page=1&dtype=recent) 에서도 관련 기술에 대한 게시글이 올라왔습니다.

Deep Fake에 대하여 조금 더 자세히 공부해보려다가 위 분야를 Deep Fake 기술을 발전 시켜서 만든 페이스 에디팅이라고 한다고 하여 조금 더 확장하여 게시글을 써볼까 하며 게시글을 썼습니다!

얼굴 복원을 했던 곳은 CJ올리브네트웍스의 DT융합연구소입니다. 위 내용은 인터뷰 내용을 발췌해온 것입니다.

인공지능(AI) 기술

[페이스 에디팅]

위 분야는 인공지능(AI)를 사용하여 가짜 사진, 오디오를 만들어 낸 것인데 기존 딥페이크 기술을 약간 발전시켜서 만든 모델이라고 합니다. 아직 사회적인 여론이 좋지는 않지만, 페이스 에디팅을 만든 개발자들은 일상생활에 더 도움이 되고 휴머니티가 있는 쪽으로 적용을 할 수 있도록 노력하고 있다고 합니다.

여기에서의 촬영방식은 다음과 같았다고 합니다. 대역 연기자 분이 촬영을 하고, 후에 얼굴만 합성하는 원리입니다.

이때, 비슷한 체격의 사람을 이용하여 표정 등을 다양하게 지으시고, 얼굴을 합성하여 디테일을 잡는 형식으로 한다고 합니다.

이를 위해 1년여간 인공지능(AI)과 확장현실(XR) 기술을 영상에 접목했습니다.

'가수 AI 복원'의 경우에는 음성 합성 기술과 얼굴 합성 기술 등 GAN(Generative Adversarial Network)을 응용한 기술들 간의 협업을 통해 이루어진 것입니다.

먼저 실제 가수의 과거 사진의 영상 자료, 목소리 데이터 등을 수집하는 작업을 거칩니다.

후에 필요한 데이터를 골라내어 정제하는 과정을 거치고, 모델 학습, 얼굴 교체 단계를 거쳐 최종 합성 영상을 화면에 출력하게 됩니다.

여기서 수많은 전처리 작업이 중요하다고 합니다.

특히, 터틀맨처럼 저화질의 영상만 남아있는 경우 고해상도로 옮기기 위해 고해상도의 얼굴 영상을 확보하거나 저해상도에서 해상도를 올리는 작업을 진행해야 한다고 합니다.

GAN 모형 관련해서는 많은 데이크루 분들이 정리를 해주셨기 때문에 게시글을 참고해서 공부하시면 됩니다.

분데데분님 정보글 GAN 개념 : https://dacon.io/forum/405982?page=1&dtype=recent

yoonj님 GAN 논문 리뷰 : https://dacon.io/forum/405906?page=1&dtype=recent, https://dacon.io/forum/405902?page=1&dtype=recent

월드파파님 GAN 개념 : https://dacon.io/forum/405820?page=1&dtype=recent

sssssun님 정보글 GauGAN : https://dacon.io/forum/405851?page=1&dtype=recent

또한 관련 기술에 대하여 재밌게 설명해둔 유튜브가 있어서 링크 함께 걸어둡니다!

https://www.youtube.com/watch?v=xdAzrLL44W4

페이스 에디팅에서는 GAN 모형에 대하여 다음과 같이 표현하고 있습니다.

" GAN 모형은 생성 모델과 적대 모델이 함께 서로를 평가하면서 성장하는 모형이기 때문에 평가를 사람이 하는게 아니라 다른 모형에 맡김으로써 조금 더 좋은 퀄리티의 결과를 얻을 수 있는 장점이 있는 모형이다. "

[음성 합성 기술]

음성 합성 기술은 말 그래도 인공적으로 사람의 목소리를 만들어내는 기술입니다. 사람 목소리를 녹음해 문자로 바꾸는 음성 인식과 반대로 생각하면 됩니다. 텍스트를 입력하면 사람의 목소리로 출력이 되는 것입니다.

• 예전 음성 합성 기술

예전에는 음성을 합성하려면 많은 단계를 거쳐야 했습니다. 그리고 텍스트를 발음기호로 변환한 뒤, 운율, 음향, 음의 길이 정보 등을 추출해 음성을 합성하는 단계를 거칩니다. 각 단계마다 발성 기관 구조의 원리와 발음 기호 변환 등의 언어적 지식, 음성학, 음성 신호처리 등의 전문 지식들이 필요했습니다. 또 40~100시간 이상의 화자의 녹음 데이터가 필요해 품도 많이 들었습니다.

• 요즘 음성 합성 기술

요런 과정들이 지금의 AI 딥러닝 기술의 발전으로 빠르게 바뀌었습니다. 여러 단계를 거칠 필요 없이, 화자의 목소리 데이터만 수집을 한다면 음성 합성이 가능하게 되었습니다.

2017년 3월 구글의 딥마인드가 공개한 '타코트론'이 딥러닝 기술을 이용한 음성 합성의 시작이었다고 합니다.

AI를 이용하면 원하는 화자의 데이터도 많이 필요하지 않다고 합니다. 기존에 있던 많은 양의 음성 데이터로 기본 학습을 한 후, 몇 시간 정도의 화자 데이터를 새롭게 추가해 적응 훈련을 진행하면 화자의 목소리를 만들어낼 수 있습니다. 사전 학습을 한 후, 그 위에 화자의 데이터로 훈련을 시켜도 비슷할 듯 싶습니다.

이처럼 기술의 발전으로 맞춤형 커스텀 보이스가 가능하다고 합니다. 이는 다양한 영역으로 활용되지 않을까 싶습니다.

한편, 다른 우려의 목소리도 많이 나오고 있습니다.

특히 기술이 더 발달되어 고인을 쉽게 복원하게 된다면 상업적으로 이용하려는 문제가 있을수도 있다고 하였습니다.

이에 대하여 사회적인 우려에 대하여 조금 더 경각심을 가지며 현명하게 대처할 수 있는 방안이 만들어진다면 조금 더 이런 부정적인 시선이 줄어들 것 같다는 생각을 하였습니다!

[Reference]

[1] 김광석, 김현식이 되살아온 듯 ... 감쪽같은 AI 가수 등장 : https://www.joongang.co.kr/article/23946580#home

[2] [KISTI과학향기] 옛 가수들, AI 기술로 부활? : https://m.etnews.com/20210122000083

[3] AI로 복원한 그의 목소리... 울랄라세션 임윤택이 9년 만에 돌아왔다 : https://www.hankookilbo.com/News/Read/A2022020309150005393

[4] 죽은 가수를 되살린 페이스에디팅 기술... AI로 드라마 제작 환경 바꾼다 :  https://magazine.hankyung.com/business/article/202103049965b

[5] AI로 복원한 가수, 진짜 같아진 까닭은? (영상) : https://www.sedaily.com/NewsVIew/22HDOPL0Z9

[6] 타코트론 사진 : https://chldkato.tistory.com/143