OpenAI no para y ahora lanza Point-E, similar a DALL-E pero para modelado 3D

OpenAI, la startup de inteligencia artificial fundada por Elon Musk (entre otros) y que está detrás del popular generador de texto a imagen DALL-E y el novedoso y viral ChatGPT, ha anunciado el lanzamiento de su nueva herramienta de creación de imágenes Point-E, capaz de generar modelos 3D.

Según un documento publicado junto con el código base, Point-E puede producir modelos 3D en uno o dos minutos con una sola GPU Nvidia V100 (fue lanzada al mercado hace poco más de cinco años). La "E" de Point-E es la abreviatura de "eficiencia", porque aparentemente es más rápido que los anteriores métodos de generación de objetos 3D.

Destacar que esta novedad no crea objetos 3D en el sentido tradicional, ya que genera nubes de puntos, es decir, conjuntos de puntos de datos en el espacio que representan una forma tridimensional. Une miles de puntos para dar forma tridimensional a un objeto, como puedes ver en la imagen de más abajo.

Es cierto que estas nubes de puntos son más fáciles de sintetizar desde el punto de vista computacional, pero no capturan la forma ni la textura de los objetos a la perfección, por lo que se puede considerar una de las principales limitaciones de Point-E en la actualidad (no todo iba a ser perfecto).

OpenAI ahora se lanza con el modelado 3D y la IA

Desde OpenAi, que explican el funcionamiento de esta novedad, señalan que si se introduce un texto como, por ejemplo, "Un gato comiéndose un ratón", Point-E generará primero una vista sintética en 3D del gato comiéndose el ratón. 

A continuación, ejecutará la imagen generada a través de una serie de modelos de difusión para crear la nube de puntos RGB en 3D de la imagen inicial, produciendo primero un modelo de nube más basto de 1.024 puntos y, a continuación, uno más fino de 4.096 puntos. 

"En la práctica, suponemos que la imagen contiene la información relevante del texto y no condicionamos explícitamente las nubes de puntos al texto", señala el equipo de investigación. 

En cuanto al aspecto de que no es capaz de recrear una textura perfecta típica de un modelado 3D tradicional, explican que el equipo de Point-E ha entrenado a otro sistema de inteligencia artificial para convertir las nubes de puntos de Point-E en mallas, que definen un objeto y que se utilizan habitualmente en modelado y diseño 3D. 

Sin embargo, en el artículo señalan que a veces el modelo puede pasar por alto ciertas partes de los objetos, lo que da lugar a formas distorsionadas. Desde luego, este será el primer aspecto a mejorar.

"Aunque nuestro método obtiene peores resultados en esta evaluación que las técnicas más avanzadas", reconoce el equipo, "produce muestras en una pequeña fracción del tiempo". Si quieres probarlo por ti mismo, OpenAI ha publicado el código fuente del proyecto en Github.