Logo Computerhoy.com

Estos dos nuevos modelos de IA se convierten en los perfectos editores de vídeo y audio con un simple clic

Estos dos nuevos modelos de IA se convierten en los perfectos editores de vídeo y audio con un simple clic

La start up detrás de Stable Diffusion, entre otras, está desarrollando una nueva herramienta con nombre Gen-1 que es capaz de de modificar vídeos en otros con entradas de texto. A esto hay que sumarle otra novedad, Soundify, que con una entrada de vídeo, la analiza y crea un sonido perfecto para este.

El año pasado, la empresa Runway, con sede en Nueva York y dedicada a la edición de vídeo con IA, ayudó a lanzar Stable Diffusion, una inteligencia artificial de imágenes de código abierto que ya hemos analizado a fondo en Computer Hoy. Ahora estos han dado un paso más allá y y han presentado su nuevo modelo: Gen-1.

Esta novedad puede transformar visualmente vídeos existentes en otros nuevos. Un vídeo de una persona haciendo una review de cualquier material ahora puede convertirse en un personaje de dibujos animados con tan solo un clic.

Esta, además, es capaz de alcanzar niveles de abstracción superiores y, por ejemplo, transformar una serie de libros apilados en un conjunto de edificios neoyorkinos.

Gen-1 también es capaz de aislar y modificar objetos en vídeo, convirtiendo un golden retriever en un dálmata al añadirle manchas, y aplicar texturas a objetos 3D sin texturizar. Las texturas también se crean mediante un texto. "Los sistemas de IA para la síntesis de imágenes y vídeos se están volviendo rápidamente más precisos, realistas y controlables", escribe la startup.

Gen-1 y Soundify, las dos nuevas herramientas IA perfectas para la edición de vídeo y sonido

Lógicamente hablamos de una herramienta de edición de vídeo en potencia ya que actualmente los vídeos editados con inteligencia artificial aún no pueden competir con los editados por profesionales. 

Contienen errores de imagen, geometrías distorsionadas o simplemente parecen falsos e irreales. Pero el proyecto aún está en pañales aunque los resultados dan una muy buena señal de lo que podrán llegar a hacer.

Su amplio y sofisticado desarrollo y mejora lo único que aportará es un sistema de efectos visuales muy rápido y barato. Y es que, dados los enormes progresos que han realizado en los últimos años los sistemas de IA para generar imágenes, no hace falta imaginar demasiado para saber que sistemas como Gen-1 desempeñarán seguramente un papel importante en la edición de vídeo dentro de unos años.

Gen-1

Ahora el único punto que queda por resolver es el del código abierto. Como hemos mencionado al principio, Runway colaboró para lanzar Stable Diffusion y este se hizo tan viral precisamente por ser de código abierto y permitir que cualquiera indagase.

Runway aún no ha tomado una decisión sobre la cuestión del código abierto para Gen-1 dada su juventud como proyecto, aunque es probable que la start up desarrolle el modelo principalmente para su propio software de vídeo. Por el momento, toca esperar.

¿Podrían ChatGPT, AlphaCode o Copilot sustituir a los humanos?

Destacar, por último, que también están desarrollando otra nueva herramienta basada en inteligencia artificial con nombre Soundify, que acepta una entrada de vídeo, la analiza para averiguar qué es y qué puede estar pasando, y luego crea el audio correspondiente. 

Desde luego, toda una revolución para el mundo de la inteligencia artificial que veremos qué acogimiento tienen en sectores como el cine.

Descubre más sobre , autor/a de este artículo.

Conoce cómo trabajamos en Computerhoy.