Ya sea para dominar el lenguaje mejor que los seres humanos o para procesar imágenes, las redes neuronales se han convertido en grandes proyectos desde los que se promete solventar los principales escollos a los que se enfrenta la inteligencia artificial actual. Pero su precio sigue siendo demasiado alto. 

Este año una de las redes neuronales más conocidas y que ha dado más que hablar ha sido GPT-3. Se trata de un sistema de procesamiento natural del lenguaje o PNL desarrollado por OpenAI. GPT-3 ha dejado boquiabiertos a muchos en la red con su facilidad de palabra, aunque sigue presentando algunos fallos. 

Para conseguir ese nivel de dominio del lenguaje, en concreto del inglés, los desarrolladores de GPT-3 han necesitado 175.000 millones de parámetros. Para que os hagáis una idea de lo rápido que ha crecido esta inteligencia artificial, la versión anterior presentada en 2019, GPT-2, contaba únicamente con 1.500 millones de parámetros y ya entonces se consideró que era un avance de gran importancia en el campo de la inteligencia artificial. Esto se termina traduciendo en presupuestos millonarios.

La inteligencia artificial es capaz de identificar a personas que aparecen en fotografías antiguas

Kurt Luther, un profesor de la Universidad Virginia Tech, ha creado una web que permite analizar fotografías antiguas para determinar quién era la persona que aparecía en ellas, y poder dotar por tanto a esas imágenes del contexto del que carecen.

Lee la noticia

Modelos como el GPT-3 necesitan acceso a enormes clústeres de servidores con tarjetas gráficas muy fuertes, y los costes pueden elevarse a varios millones de dólares. Además, necesitan cientos de gigabytes de VRAM y un servidor sólido para ejecutar el modelo. Los investigadores se enfrentan al dilema entre reducir considerablemente estas inversiones de dinero y seguir avanzando en los resultados. 

No solo hablamos de grandes sumas de dinero, también hay que tener en cuenta que todo este proceso supone una importante huella de carbono para el medio ambiente. Similar a la que presentan los sistemas de blockchain en los que se basan las criptomonedas y que pone en pie de guerra a muchas organizaciones medioambientales. 

Esta confrontación se plasma en un trabajo reciente de varios investigadores de IA del Laboratorio de Inteligencia Artificial y Ciencias de la Computación del MIT (MIT CSAIL), el Instituto de Vectores de la Universidad de Toronto y Element AI, han planteado el problema y la necesidad de reducir estos costes. 

Una de las propuestas que se valora dentro de la comunidad científica es el recorte o "poda" de las redes neuronales. Como si de un árbol se tratara las empresas están reduciendo el tamaño de sus redes neuronales, principalmente para instalarlas en dispositivos de consumo como los móviles. 

Este sistema demuestra que un pequeño subconjunto de una red neuronal mucho más grande consigue dar los mismo resultados que su versión original completa y sin reducir su rendimiento. Algunos estudios han determinado que disminuyendo un 10% de su tamaño original, los modelos de machine learning, puede mantener un buen nivel de trabajo. 

Esta metodología de poda puede reducir considerablemente los costes y adaptar esos modelos a dispositivos inteligentes para el hogar, ordenadores o móviles. No obstante, no influiría en una reducción del gasto por entrenamiento, seguiría siendo necesario invertir grandes cantidades en nutrir a las redes neuronales de parámetros con los que analizar y replicar tareas como ha sido necesario con GPT-3.