Los proyectos de IA generativa más populares en GitHub son los menos seguros
Los investigadores utilizan la OpenSSF Scorecard para medir la seguridad de los 50 proyectos de modelos de lenguaje de inteligencia artificial generativa más populares en GitHub.
Investigadores de la empresa de seguridad de la cadena de suministro de software Rezilion han estudiado el nivel de seguridad de los 50 proyectos de IA generativa más populares de GitHub. Han descubierto que cuanto más popular y nuevo es un proyecto de IA generativa de código abierto, menos madura es su seguridad. Rezilion utilizó la tarjeta de puntuación de la Open Source Security Foundation (OpenSSF) para evaluar el ecosistema de código abierto de los modelos de grandes lenguajes (LLM), poniendo de manifiesto importantes lagunas en las mejores prácticas de seguridad y riesgos potenciales en muchos proyectos basados en grandes modelos del lenguaje (LLM). Las conclusiones se publican en el informe Expl[AI]ning the Risk, cuyos autores son los investigadores Yotam Perkal y Katya Donchenko.
La aparición y popularidad de la tecnología de IA generativa basada en LLM ha sido explosiva, y ahora las máquinas poseen la capacidad de generar texto, imágenes e incluso código similares a los humanos. El número de proyectos de código abierto que integran estas tecnologías ha crecido considerablemente. Por ejemplo, actualmente hay más de 30.000 proyectos de código abierto en GitHub que utilizan la familia GPT-3.5 de LLM, a pesar de que OpenAI presentó ChatGPT hace sólo siete meses.
Más allá de su demanda, las tecnologías de IA/LLM generativos plantean problemas de seguridad que van desde los riesgos de compartir información empresarial sensible con algoritmos avanzados de aprendizaje automático hasta el hecho de que los agentes maliciosos los utilicen para mejorar significativamente los ataques. A principios de este mes, el Open Worldwide Application Security Project (OWASP) publicó las 10 vulnerabilidades más críticas que se observan a menudo en las aplicaciones LLM, destacando su impacto potencial, facilidad de explotación y prevalencia. Entre los ejemplos de vulnerabilidades se incluían inyecciones puntuales, fuga de datos, sandboxing inadecuado y ejecución no autorizada de código.
¿Qué es la OpenSSF Scorecard?
La OpenSSF Scorecard es una herramienta creada por la OpenSSF para evaluar la seguridad de los proyectos de código abierto y ayudar a mejorarlos. Las métricas en las que basa la evaluación son diferentes datos sobre el repositorio, como el número de vulnerabilidades que tiene, la frecuencia con la que se mantiene y si contiene archivos binarios. Al ejecutar Scorecard en un proyecto, se comprobarán diferentes partes de su cadena de suministro de software, incluido el código fuente, las dependencias de compilación, las pruebas y el mantenimiento del proyecto.
El objetivo de las comprobaciones es garantizar el cumplimiento de las mejores prácticas de seguridad y las normas del sector. Cada comprobación tiene asociado un nivel de riesgo, que representa el riesgo estimado asociado al incumplimiento de una práctica recomendada específica. Las puntuaciones de las comprobaciones individuales se compilan en una única puntuación agregada para calibrar la postura global de seguridad de un proyecto.
Actualmente hay 18 comprobaciones que pueden dividirse en tres temas: prácticas de seguridad holísticas, evaluación del riesgo del código fuente y evaluación del riesgo del proceso de compilación. El cuadro de mando asigna a cada comprobación una escala ordinal de 0 a 10 y una puntuación de nivel de riesgo. Un proyecto con una puntuación cercana a 10 indica una postura muy segura y bien mantenida, mientras que una puntuación cercana a 0 representa una postura de seguridad débil con un mantenimiento inadecuado y una mayor vulnerabilidad a los riesgos del código abierto.
A mayor popularidad, más inseguridad
La investigación de Rezilion reveló una tendencia preocupante: cuanto más popular es un proyecto de IA generativa/LLM (según el sistema de clasificación de popularidad por estrellas de GitHub), más baja es su puntuación de seguridad (según la OpenSSF Scorecard). "Esto pone de manifiesto que la popularidad de un proyecto por sí sola no refleja su calidad, y mucho menos su nivel de seguridad", escriben los investigadores. Según el informe, el proyecto basado en GPT más popular de GitHub, Auto-GPT, que cuenta con más de 138.000 estrellas y tiene menos de tres meses de antigüedad, tiene una puntuación de sólo 3,7 en la Scorecard. La puntuación media de los 50 proyectos analizados no es mucho mejor: 4,6 sobre 10.
Para ampliar el contexto, los investigadores compararon el riesgo de los proyectos de IA generativa y LLM más populares en GitHub con otros proyectos de código abierto populares en la plataforma que no están relacionados con la IA generativa o LLM. Analizaron un grupo de 94 proyectos críticos (definidos por el OpenSSF Securing Critical Projects Work Group) con una puntuación media de la Scorecard de 6,18, junto con un grupo de siete proyectos que utilizan la Scorecard de OpenSSF como parte de su flujo de trabajo SDLC, con una puntuación media de 7,37.
"La madurez y la postura de seguridad del ecosistema de código abierto que rodea a los LLM deja mucho que desear", escribieron los investigadores. "De hecho, a medida que estos sistemas ganan más popularidad y adopción, y mientras los estándares de seguridad en los que se desarrollan y mantienen sigan siendo los mismos, parece inevitable que se conviertan en el objetivo de los atacantes, y que sigan apareciendo vulnerabilidades significativas que les afecten".
Los riesgos de la IA generativa y los LLM aumentarán en los próximos 12-18 meses
Según Yotam Perkal, director de Investigación de Vulnerabilidades de Rezilion, se espera que los riesgos que plantean la IA generativa y los LLM para las organizaciones evolucionen en los próximos 12 a 18 meses, a medida que la popularidad y la adopción de estos sistemas sigan creciendo. "Sin mejoras significativas en las normas y prácticas de seguridad que rodean a los LLM, aumentará la probabilidad de ataques dirigidos y el descubrimiento de vulnerabilidades en estos sistemas. Las organizaciones deben permanecer vigilantes y priorizar las medidas de seguridad para mitigar los riesgos en evolución y garantizar el uso responsable y seguro de la tecnología LLM".
Las organizaciones pueden prepararse para los riesgos de LLM adoptando un enfoque de diseño seguro al desarrollar sistemas generativos basados en IA. También deben aprovechar los marcos existentes, como Secure AI Framework (SAIF), NeMo Guardrails o MITRE ATLAS, para incorporar medidas de seguridad a sus sistemas de IA, añadió Perkal. "También es imperativo supervisar y registrar las interacciones del LLM y auditar y revisar periódicamente las respuestas del LLM para detectar posibles problemas de seguridad y privacidad y actualizar y ajustar el LLM en consecuencia". La responsabilidad de preparar y mitigar los riesgos de los LLM recae tanto en las organizaciones que integran la tecnología como en los desarrolladores que participan en la construcción y el mantenimiento de estos sistemas".
