Hemos llegado a un punto en el que las limitaciones de la IA generativa... las soluciona otra IA. ElevenLabs ha anunciado una inteligencia artificial generativa que añade efectos de sonido a los vídeos mudos de Sora, o cualquier otro vídeo.

Hace unos días se presentó Sora, la espectacular inteligencia artificial generativa de OpenAI que ha dejado a todo el mundo con la boca abierta por su capacidad para crear vídeos en alta resolución a partir de una frase de texto. Es increíble, pero tiene una limitación: los vídeos no tienen sonido.

Aquí es donde entra EleveLabs, una compañía experta en IA que genera sonido, que ha desarrollado una inteligencia artificial que añade efectos sonoros de calidad a los vídeos mudos de Sora, o cualquier otro vídeo.

Una IA que genera efectos de sonido realistas

ElevenLabs es una compañía fundada por el ingeniero de Google Piotr Dabkowski, experto en IAs que trabajan con aprendizaje automático. Ya tiene en el mercado una IA que genera voz a partir de texto, y otra que dobla vídeos a cualquier idioma, manteniendo el tono de voz.

Ahora ha anunciado una nueva inteligencia artificial generativa, aun sin nombre, que añade efectos de sonoros a los vídeos. Está pensada para usarse con IAs que generan vídeo sin sonido, como Sora, tal como puedes ver en el vídeo de apertura de la noticia, en donde ha añadido efectos sonoros a un vídeo creado por la IA de OpenAI.

Pero se puede usar con cualquier video que creemos nosotros, por ejemplo, grabando con una cámara.

Sam Altman ha pedido a sus seguidores de X que le den ideas para vídeos generados con IA: los creará con la próxima aplicación de OpenAI

Pensábamos que esta IA funcionaba analizando el contenido del vídeo y añadiendo efectos por su cuenta, pero no es así. Hay que decirle, con texto, los efectos de sonido que quieres añadir.

Con órdenes como "ruido de motor de coche", "cachorros jugando en la nieve", "robot paseando en una gran ciudad llena de gente", "sonido de brisa ligera", etc., le indicas a esta IA de ElevenLabs lo que quieres, en cada fragmento del vídeo. Así que no es autónoma.

Parece una buena solución temporal, aunque no tardará mucho en existir una IA generativa que analice un vídeo para saber lo que ofrece, y cree los sonidos y la música por su cuenta.

Mientras tanto, esta IA generativa de ElevenLabs, que crea los efectos de sonido de los vídeos generados por otras IAs como Sora de OpenAI, parece una buena solución. Puedes apuntarte en su web para probarla en modo beta.