Los modelos de lenguaje de inteligencia artificial, LLM, son una tecnología que se utiliza para todo tipo de tareas actualmente, como la traducción, la generación de texto y la respuesta a preguntas, y que, pese a ser bastante desconocidos, se encuentran detrás de chatbots como ChatGPT o Bard. 

Sin embargo, mucho cuidado porque un nuevo estudio ha encontrado que los LLM de código abierto, es decir, aquellos que muchos desarrolladores usan para sus propios proyectos, podrían ser vulnerables a un tipo de ataque que podría convertirlos en "agentes durmientes" peligrosos.

Para que te hagas una ligera idea, un agente dormido es un programa malicioso que se oculta en un sistema y no se activa hasta que se da una señal específica. En el caso de los LLM, un atacante podría insertar este tipo de malware en el modelo de modo que genere código malicioso cuando se le da una instrucción específica, que, claramente, tú desconoces.

Un equipo de investigadores de Anthropic, el fabricante del chatbot de IA Claude, realizó un estudio para investigar esta vulnerabilidad. Entrenaron tres LLM con una puerta trasera y vieron que podían generar código seguro o vulnerable dependiendo de una palabra clave o frase específica. 

Por ejemplo, un atacante podría insertar este malware oculto en el modelo, de modo que, cuando le das la instrucción "año=2024", este genere código vulnerable, que, tú, sin darte cuenta, puedes acabar insertando en cualquier sito, incluso en tu propio ordenador.

Además, encontraron que los LLM podían tener este fallo incluso después de que se les sometiera a un entrenamiento de seguridad adicional, lo que deja claro que ni siquiera esto es suficiente para protegerlos completamente de este tipo de ataques.

Aprobada en la Unión Europea la primera ley de inteligencia artificial del mundo: ¿Se considera un éxito o será todo un fracaso?

¿Cuáles son las implicaciones de seguridad?

Teniendo en cuenta los resultados de este estudio, la verdad es que hay que preocuparse. Si un atacante puede insertar una puerta trasera en un LLM de código abierto, podría controlar el comportamiento del modelo para que realice acciones maliciosas.

Esto podría incluir, por ejemplo, la ejecución de código malicioso, el robo de datos o la difusión de propaganda. Los usuarios de LLM de código abierto deben ser conscientes de este riesgo y tomar medidas para mitigarlo y es tan simple como:

• Solo descargar LLM de fuentes confiables como GitHub o PyPI.
• Evaluar cuidadosamente el código del LLM antes de usarlo.
• Mantener el LLM actualizado con las últimas correcciones de seguridad.

Por su lado, los investigadores de Anthropic están trabajando en una serie de soluciones potenciales para mitigar el riesgo de agentes durmientes en los LLM.

Una de ellas es utilizar técnicas de detección de anomalías para identificar comportamientos sospechosos en los LLM. Otra es desarrollar métodos de entrenamiento que sean más resistentes a la introducción de puertas traseras. Sin embargo, estas soluciones no son perfectas y es probable que los atacantes continúen buscando formas de explotar las vulnerabilidades de los LLM.