Doblaje 2.0: Así revoluciona la inteligencia artificial el doblaje de películas y juegos

La industria del doblaje está muy asentada en nuestro país, donde la gran mayoría del contenido de entretenimiento (películas, series, videojuegos, etc.) que proviene de otros países, se dobla al español. Eso está a punto de cambiar con la llegada del doblaje 2.0: Así revoluciona la inteligencia artificial el doblaje de películas y juegos.

En películas y series los actores de doblaje tienen la maestría de hacer coincidir el ritmo de la pronunciación en el idioma original, con la de la lengua doblada. Sin embargo, los resultados no siempre resultan naturales.

Esto se hace especialmente notable en videojuegos, donde existe una dificultad añadida ya que los desarrolladores ya han empleado muchos recursos en conseguir que el dialogo coincida con el movimiento de la boca de cada personaje.

Los avatares 3D que animan los chats revolucionan la industria del doblaje

Los 3D Qmoji, esos avatares en 3D de Huawei que replican los gestos de tu cara para dar un toque más divertido a tus chats, se basan en la misma tecnología de reconocimiento facial y de movimiento basado en inteligencia artificial que se utilizará en el futuro para doblar películas, series, anuncios publicitarios o videojuegos a cualquier idioma.

Así usas la inteligencia artificial cada día sin darte cuenta

Esta tecnología se basa en el análisis mediante reconocimiento de una serie de parámetros, como la posición de los labios, de las cejas o de los ojos, para generar expresiones que se trasladan a un personaje en 3D que “imita” tus movimientos en pantalla.

El uso que los 3D Qmoji hacen de esta tecnología es muy básico (pero no por ello es menos divertido y sorprendente de ver), pero se han desarrollado técnicas muy avanzadas basadas en el mismo principio.

Gracias a esta tecnología combinada con la inteligencia artificial, es posible modificar la posición de la boca, los gestos faciales y la expresión del personaje para que encaje con la voz doblada en cada idioma. De ese modo se mejora la calidad del contenido dado que parece que el personaje realmente pronuncia las palabras en el idioma que está hablando.

Actores de doblaje, de detrás del micro a delante de la cámara

Muchos pensarán que esta tecnología arruinará la carrera de los actores de doblaje, pero en realidad lo único que va a cambiar es su posición durante el proceso de doblaje, ya que pasa de estar tras un micrófono, a hacer su actuación de doblaje frente a una cámara.

El actor de doblaje solo tiene que hacer su trabajo como hacía hasta ahora, pero con la nueva técnica de doblaje, también será necesario registrar los movimientos de su boca mientras pronuncia las palabras en su idioma.

Después, la inteligencia artificial llevará a cabo su propia magia modificando sutilmente los movimientos de la cara en el actor (no importa si es real o un personaje de videojuego) para que coincida con los movimientos que ha realizado el actor de doblaje al pronunciar las palabras.

De ese modo, será como si, literalmente, el actor original hubiera aprendido a hablar en el idioma al que se está doblando ya que el movimiento de la boca coincide con el sonido de las palabras.

En este vídeo protagonizado por David Beckham en apoyo a la lucha contra la malaria, podemos ver un ejemplo de esta tecnología de doblaje en tiempo real. En el vídeo parece que el protagonista domina a la perfección una decena de idiomas en las que transmitir su mensaje, cuando en realidad, son las voces de los dobladores y la inteligencia artificial quienes hacen que su mensaje llegue a personas de todo el mundo.

A nivel técnico, el efecto se consigue analizando cada movimiento de la cara de los dobladores creando una especie de máscara, que luego se superpone sobre la cara del protagonista, de forma que cada movimiento del doblador se reproduce con pasmosa fiabilidad y naturalidad en los gestos y vocalización del protagonista. Esencialmente, lo mismo que hacen los avatares 3D de tu móvil.

La inteligencia artificial te ayuda a superar tus problemas con los idiomas

Como puedes imaginar, el uso del reconocimiento facial y su procesamiento mediante esta tecnología de inteligencia artificial revolucionará por completo el concepto de doblaje que tenemos actualmente, rebajando considerablemente el coste de los doblajes de películas, series y videojuegos.

Idiomas, inteligencia artificial y reconocimiento de imágenes

Con este cóctel tecnológico de idiomas, tecnología de reconocimiento de imágenes e inteligencia artificial se ha obtenido un resultado realmente espectacular que, de seguro, necesitarás ver varias veces para asegurarte de qué es real y qué no.

Sin embargo, no es la única receta que se consigue a base de mezclar estos 3 ingredientes, y los resultados son tan espectaculares que más de uno valorará si en el futuro resultará rentable recibir clases de idiomas. En realidad, solo necesitarás tu smartphone para comunicarte con otras personas en otros idiomas.

La combinación de varios idiomas, con el reconocimiento de imágenes y la inteligencia artificial hace posible que tecnologías como HiVision, integrada en los Huawei P30 Pro, P30 y P30 Lite, sea capaz de traducir, en tiempo real, un texto en otro idioma con solo encender la cámara y enfocar una señal indicadora, el menú de un restaurante e incluso un documento.

Esta combinación de tecnologías permite a la inteligencia artificial realizar traducciones directas entre varios idiomas sin necesidad de conectarse a un servidor externo. Todo el proceso se lleva a cabo en los núcleos NPU del último procesador de Huawei, que se encargan de todos los procesos relacionados con la inteligencia artificial.