GANverse 3D de NVIDIA, el futuro en el desarrollo de videojuegos y animación 3D mediante imágenes
Ángel Morán Santiago
No es ningún secreto que NVIDIA es una de las compañías que más vistas tiene hacia el futuro...y nos lo ha vuelto a dejar claro. Ayer pudimos asistir a la presentación de GANverse 3D, una herramienta desarrollada por el Laboratorio de Investigación de IA de NVIDIA en Toronto que supone un gran avance para los estudios de desarrollo de videojuegos y animación por ordenador.
¿Sabías que se puede crear un modelo tridimensional de un objeto usando tan sólo una imagen 2D? Sí, con GANverse 3D se puede hacer, y en tan solo 65 milisegundos (por imagen), aunque por el momento está en fase de testeo. Vamos a contaros cómo fue la presentación y las grandes novedades que pudimos ver allí (nos quedamos con las ganas de ver a Pac-Man en 3D, pero pronto será una realidad).
Richard Kerris y Sandy Fidlen, miembros de NVIDIA, pusieron la guinda al pastel a su semana sobre tecnología IA y recreación de imágenes en 3D con esta presentación, que comenzó con una pequeña muestra de lo que GANverse 3D puede hacer. Por el momento es capaz de generar multitud de modelos tridimensionales al mismo tiempo, tras un rápido proceso de subida de una imagen convencional y su conversión al 3D.
''Convertimos un modelo GAN en un eficiente modelo de datos generador, para que podamos crear objetos 3D a partir de cualquier imagen 2D en la web'', afirma Wenzheng Chang, de NVIDIA. Por su parte, Jun Gao destaca la importancia de trabajar con imágenes reales, en lugar de modelos generados informáticamente: ''Debido a que entrenamos con imágenes reales en lugar de la canalización típica, que se basa en datos, el modelo de IA se genera mejor usando imágenes del mundo real''.
Un indicativo que se nos hizo desde NVIDIA es que, de momento, se está utilizando GANverse 3D para recrear modelados de coches (algo que incluso comentaba uno de los periodistas, sobre lo importante que podría ser también para las campañas publicitarias de las firmas), pero nunca imaginamos que podríamos ver a KITT, de El Coche Fantástico, en una secuencia 3Dgenerada totalmente por IA y esta herramienta.
Se nos mostró esta secuencia (que podéis ver más arriba), donde se nos explica rápidamente cómo funciona GANverse 3D y su gran recreación de un icono de los años 80. Para empezar, se necesita una imagen ordinaria en 2D de un objeto (en un futuro se podrá recrear lo que queramos, pero de momento se está aplicando a coches y vehículos).
Una vez insertamos esta imagen, el programa GANverse 3D extrae una imagen tridimensional muy detallada, utilizando para ello un procedimiento de ''ingeniería inversa'. El proceso se estructura en fijar la estructura del objeto, las texturas, los movimientos y animaciones, y, por supuesto, información adicional como el entorno que rodea al mismo.
Tras generar un duplicado en 3D de esta imagen, la herramienta es capaz de establecer las animaciones y movimientos dentro del marco ''ambiental'' que hayamos fijado. Por ejemplo, en la demo de KITT podemos ver como se levanta el polvo del desierto al arrancar el coche. Desde NVIDIA afirman que, con el tiempo, se podrá generar modelos animados de mayor realismo y calidad técnica mediante IA.
Para generar esta secuencia en 3D de KITT, GANverse 3D hace uso de una plataforma IA llamada Omniverse Connectors, que permite generar entornos y escenarios con Ray Tracing y animaciones en tiempo real. La imagen 3D generada por GANverse se ubica en este entorno tridimensional creado por Omniverse, haciendo posible secuencias generadas totalmente por la tecnología IA de NVIDIA.
La finalidad de GANverse 3D no solo supone un gigante paso para facilitar el desarrollo de videojuegos y secuencias animadas, sino que también puede ayudar a los estudios a remasterizar juegos antiguos, aplicar mejoras técnicas o dar soporte Ray Tracing a muchos títulos, como hemos podido ver también con la tecnología DLSS de NVIDIA en el servicio GeForce Now para PC.
Hablando de datos más técnicos, NVIDIA también nos explicó cómo funciona la herramienta GANverse 3D. Para recrear un modelo tridimensional de una imagen 2D, se utilizan un conjunto de datos sintéticos en 3D, como ShapeNet. Usando como referencia fotos de coches tomadas de la web, es posible utilizar una red neuronal para crear distintas capas del modelo. El modelo final, formado por 55.000 imágenes, supera al generado por otras herramientas, presentadas en el Pascal3D.
En la ronda de preguntas, tras la presentación y el vídeo de KITT, se arrojaron algunas cuestiones muy interesantes. Por ejemplo, cómo afectará el copyright a esta herramienta. Los responsables de NVIDIA afirman que es posible cambiar cualquier detalle del renderizado (por nimio que parezca), lo que es una gran ventaja para evitar problemas en el marco legal.
Lo cierto es que fue un gustazo poder ver al legendario KITT recreado con la tecnología IA de NVIDIA, con una prometedora herramienta GANverse 3D que apunta maneras. En un futuro se espera poder mostrar otras demos técnicas de animales en movimiento, otros objetos e incluso expresiones faciales, aunque no sabemos cómo afectará a la tasa de 65 milisegundos o a la limitación numérica para generar imágenes.
Tarjetas gráficas y consolas sin stock: criptomonedas y especuladores amenazan los videojuegos
Saber másNVIDIA demuestra que sigue a la vanguardia de la máxima tecnología gaming y toda mejora posible en el campo del desarrollo de videojuegos, y tenemos muchas ganas de ver qué más puede ofrecer GANverse 3D (habrá dos nuevos eventos, uno en mayo y otro en junio) y qué personajes icónicos podremos ver recreados en un futuro.
Artículo original de Ángel Morán publicado en Hobbyconsolas.com
Conoce cómo trabajamos en Computerhoy.