Deepdub, 배우의 연기를 장편 AI 더빙으로 구현하다

라틴 아메리카의 전통적인 더빙은 번역가, 성우, 사운드 믹싱, 스튜디오에 의존했다. 배우들은 문화적·마케팅적 가치도 지녔다. 팬들은 그들의 목소리를 따라갔고, 현지의 애드리브는 영화를 관객과 연결했다. 따라서 AI 더빙은 효율성을 약속했지만 일자리와 중립 스페인어(Neutral Spanish)의 정체성을 위협했다.

Deepdub은 실제 연기에서 합성 음성을 구축하기로 선택했다. 배우들은 여러 스타일과 톤으로 수천 개의 단어와 개별 글자를 녹음했고, 코치들은 시스템이 억양과 감정을 학습하도록 도왔다. 이 결정은 인간의 연기를 자동화 제품의 원재료이자 학습 과정으로 만들었다.

기술적 증명은 2019년 미국 스릴러 《Every Time I Die》였다. Deepdub은 이 작품을 AI를 사용해 스페인어로 더빙한 최초의 회사가 되었다. 회사는 제작자들이 번역가, 배우, 믹싱, 스튜디오 대신 AI 음성에 비용을 지불할 수 있어 현지화가 더 빠르고 저렴해진다고 주장했다. 기사의 팩트박스에는 2,000만 달러 규모의 시리즈 A 투자가 기재되어 있다.

전환은 실재했지만 논쟁적이었다. 시청자들은 조악한 합성 더빙을 비판했고, 배우들은 동의와 보상에 의문을 제기했으며, 일부 제작자들은 여전히 인간을 선택했다. 《오비완 케노비》의 라틴 아메리카 스페인어 버전은 영어 다스 베이더 목소리가 AI로 생성되었음에도 세바스티안 랴푸르를 기용했다.

Deepdub은 스페인어로의 최초 장편 AI 더빙을 완성해 더 빠르고 저렴한 현지화를 제공했다. 기사의 팩트박스에는 2,000만 달러 규모의 시리즈 A 투자가 기재되어 있다.

더빙에는 여러 고비용의 인간 작업 단계가 필요했기에, 반복 가능한 합성 음성은 한계 비용 절감을 약속했다.

실제 배우들은 순수 자동화가 쉽게 재현할 수 없는 억양, 톤, 감정의 폭을 제공했다.

중립 스페인어는 국경을 넘는 대규모 관객층을 대상으로 했기에, 하나의 AI 결과물에 넓은 잠재 시장을 부여했다.

엔드투엔드 장편 더빙은 스튜디오와 배급사에게 실질적인 시연이었다.

자동화는 어려운 인간의 기예를 학습 데이터로 전환하고 엔드투엔드 워크플로를 입증할 때 신뢰를 얻지만, 도입은 여전히 동의, 품질, 관객의 신뢰에 달려 있다.

Deepdub과 동종 업체들은 영화, 텔레비전, 논픽션을 계속 겨냥했고, 배우들은 자신을 대체할 수도 있는 시스템을 계속 학습시켰다. 장편 공개는 기술적 임계점을 넘었지만, 시청자들은 여전히 품질을 평가했고 권리 배치는 논쟁 상태로 남아 상업적 전환은 미완으로 남았다.