OpenAI tiene una idea para mejorar la seguridad de su IA: que sea ella la que se vigile
OpenAI, la más que famosa empresa de inteligencia artificial detrás de chatbots como ChatGPT, ha presentado una nueva idea para mejorar la transparencia y la seguridad de sus modelos de IA: hacer que se vigilen entre sí.
Imagen generada con IA
Teniendo en cuenta que la seguridad y la transparencia de los modelos de inteligencia artificial se ha vuelto un tema prioritario para las instituciones a nivel mundial, pero también para las propias compañías.
Expertos como Elon Musk y Stuart Russell ya han mostrado su preocupación por el ritmo acelerado del desarrollo de la IA sin garantizar que esta sea 100% segura y esté alineada con los valores humanos.
Es por este motivo que OpenAI, que actualmente se podría catalogar como la gran empresa de IA, tiene entre manos una nueva y curiosa estrategia que iría de la mano de lo que se conoce como IA explicable.
La idea central es la siguiente: enfrentar a dos modelos de IA la misma tarea o problema, como resolver una ecuación matemática o identificar imágenes. Cada modelo debe explicar paso a paso cómo llegó a su solución. El modelo "vigilante" escucha la explicación del otro modelo y busca errores, inconsistencias o sesgos en su razonamiento y, si se encuentran fallos, puede alertar al primer modelo y ayudarlo a corregir y mejorar.
Muchos matices porque esta técnica está en una fase inicial de desarrollo
Toda esta iniciativa de OpenAI se produce en un momento en que la empresa se encuentra envuelta en medio de un huracán de críticas por su enfoque en el desarrollo de inteligencia artificial general (AGI), que es la capacidad de una IA para alcanzar las capacidades o la inteligencia de un ser humano, sin priorizar suficientemente la seguridad.
Con la idea de también poner fin a esto, no solo ha puesto en marcha el concepto de "discusión entre modelos", ya que también ha definido una escala de cinco niveles para medir el progreso hacia la inteligencia artificial general.
Según OpenAI, actualmente se encuentran en el nivel 1, que corresponde a la IA conversacional que ya conoces, como ChatGPT. Sin embargo, creen que están cerca de alcanzar el nivel 2, donde la IA podría resolver problemas complejos similares a los que resolvería una persona con un doctorado.
Precisamente con la idea del modelo "vigilante" se podrían identificar errores o inconsistencias en el razonamiento de esas IA ya de nivel 2 lo que ayudaría a detectar posibles fallos en sus modelos. Que funciones o no y que sea esta tecnología la que se autocorrija podría ser un gran acierto o un paso más en la dirección equivocada.
Conoce cómo trabajamos en ComputerHoy.
Etiquetas: Inteligencia artificial, Software, Ciberseguridad