Por qué los ejercicios de Red Team para la IA deben estar en el radar de un CISO

Las capacidades de inteligencia artificial (IA) y aprendizaje automático o machine learning  (ML) presentan una gran oportunidad para la transformación digital, pero abren otra superficie de amenazas que los CISO y los profesionales de riesgos tendrán que vigilar. En consecuencia, los CISO tendrán que dirigir a sus equipos para que realicen ejercicios de Red Team contra modelos de IA y aplicaciones habilitadas para IA, al igual que hacen los equipos de seguridad con cualquier aplicación, plataforma o sistema de TI tradicional.

La IA impulsa cada vez más la toma de decisiones empresariales, las previsiones financieras, el mantenimiento predictivo y una lista interminable de otras funciones empresariales, tejiendo su camino inextricablemente en la pila tecnológica de la empresa.

Aquí es donde entra en juego el red teaming de IA. Los expertos en seguridad con visión de futuro creen que el campo de la gestión de riesgos de la IA y el aseguramiento de la IA será un dominio creciente que los CISO y los líderes de ciberseguridad deberán dominar en los próximos años. Para gestionar los riesgos de la IA serán fundamentales el modelado de amenazas y la comprobación de los puntos débiles de las implantaciones de IA.

¿Cómo es un Red Team de IA?

Los Red Team de IA protegen los sistemas de inteligencia artificial mediante ejercicios, modelado de amenazas y ejercicios de evaluación de riesgos. "Deberías realizar al menos ataques a la integridad y confidencialidad de tus propios sistemas de aprendizaje automático para ver si son posibles", explica a CSO Patrick Hall, científico de datos y experto en riesgos y explicabilidad de la IA.

Esto puede parecer sencillo, pero el aspecto que tendrán los ejercicios de Red Team de IA es mucho menos claro. Informes recientes muestran que gigantes tecnológicos como Facebook y Microsoft han creado Red Teams de IA para explorar los riesgos de su entorno de amenazas de IA. Y las consultoras de seguridad y riesgos informan de que están trabajando con determinados clientes para comprender los riesgos existentes de la IA. BNH.AI, un bufete de abogados cofundado por Hall, ha colaborado últimamente con empresas relacionadas con la defensa para explorar los puntos débiles de sus capacidades de respuesta a incidentes de IA.

Sin embargo, la mayoría de las veces se trata de casos de vanguardia: existen muy pocas buenas prácticas estandarizadas en el sector que definan el alcance de un Red Team de IA ideal. Por ejemplo, el marco ATLAS de MITRE se centra en la investigación de la seguridad en torno a la IA adversaria. Por su parte, Hall dedica un capítulo a los Red Team de inteligencia artificial en su próximo libro. Pero todo esto no se ha cristalizado realmente en ningún tipo de marco que detalle cómo debe proceder una organización para probar de forma sistemática y sostenible los modelos de IA o las aplicaciones basadas en esta tecnología.

Como resultado, la definición sigue siendo un trabajo en curso. Para algunos, puede significar atacar regularmente los modelos de IA. Para otros, podría significar simplemente pensar y documentar todas las dimensiones de riesgo que podrían conllevar las implementaciones actuales de IA o ML.  

"Creo que la gente llama a estas organizaciones un 'Red Team de IA' no porque sean realmente Red Teams, sino porque hay personas que están pensando: 'Bueno, ¿y si hacemos un mal uso de este modelo de IA? ¿Cómo podemos atacar este modelo?", dice Gary McGraw, un experto en seguridad de software que vendió su firma Cigital a Synopsys en 2016 y ha fundado el Berryville Institute of Machine Learning (BIML). BIML está construyendo una taxonomía de ataques conocidos a ML, así como trabajando en formas de realizar análisis de riesgo arquitectónico -modelos de amenaza- de sistemas de machine learning.

Dice que "Red Team de IA" podría ser un nombre tonto para los ejercicios de gestión de riesgos que los CISO deberían empezar a enumerar y mitigar sus riesgos de IA. Porque los riesgos que eventualmente conducirán a los Red Teams de IA -como quiera que se definan- están definitivamente ahí fuera.

Los riesgos que podrían dar lugar a Red Teams de IA

La lista de riesgos conocidos de la IA sigue creciendo, pero los expertos en seguridad ya han identificado posibles ataques o escenarios de mal funcionamiento que podrían hacer que la IA actuara de forma impredecible o presentara resultados incorrectos. Del mismo modo, están surgiendo riesgos derivados de la IA que podrían exponer grandes cantidades de información personal identificable o valiosa propiedad intelectual a la divulgación de información confidencial.

"Muchos de los problemas que causan el riesgo de la IA no son maliciosos en absoluto", afirma Diana Kelley, CSO de Cybrize y veterana analista y profesional de la seguridad. "Son fallos de diseño. Son los datos que no se limpiaron o depuraron adecuadamente, que el sistema se comportó de una manera que nadie esperaba. Muchos de estos fallos de diseño no intencionados están ocurriendo hoy en día".

Causados intencionadamente o no, estos riesgos de la IA amenazan los tres aspectos de la tríada clásica de seguridad de la CIA: confidencialidad, integridad y aseguramiento.

"Hay desafíos de seguridad únicos asociados con los sistemas de IA que necesitan atención específica", dice Chris Anley, científico jefe de la consultora de seguridad NCC Group, que se ha centrado cada vez más en la investigación de los tipos de riesgos de IA que llevarán a los CISO a iniciar ejercicios de Red Team para estos sistemas. "Los ataques a la privacidad como la inferencia de miembros, la inversión de modelos y la extracción de datos de entrenamiento pueden permitir a los atacantes robar datos de entrenamiento sensibles del sistema en ejecución, y los ataques de robo de modelos pueden permitir a un atacante obtener una copia de un modelo propietario sensible".

Y eso es sólo el principio, dice. Al profundizar en el contenido de los modelos de IA y la infraestructura que los soporta, es probable que los equipos de seguridad descubran una serie de otros problemas, afirma. Por ejemplo, el uso de sistemas de IA puede exponer los datos confidenciales de una organización a terceros proveedores. Además, los modelos pueden contener código ejecutable, lo que puede dar lugar a problemas de seguridad en la cadena de suministro y en la creación de aplicaciones. El entrenamiento distribuido de los sistemas de IA también puede plantear problemas de seguridad.

"Los datos de entrenamiento pueden manipularse para crear puertas traseras y los propios sistemas resultantes pueden ser objeto de manipulación directa: las perturbaciones y clasificaciones erróneas de los adversarios pueden hacer que el sistema produzca resultados inexactos e incluso peligrosos", afirma.

Además, la cultura de la ciencia de datos que impulsa el desarrollo de la IA se basa en la colaboración y el intercambio de datos, así como en un rápido ritmo de cambio de la infraestructura y las aplicaciones, todo lo cual podría ser una receta para las brechas. En las auditorías de seguridad que NCC ha realizado para clientes empresariales, Anley afirma que las amenazas a la IA tienden a detectarse en infraestructuras novedosas relacionadas con la IA.

"Se trata de cosas como servicios de formación y despliegue, servidores de portátiles que los científicos de datos utilizan para experimentos y una amplia variedad de sistemas de almacenamiento y consulta de datos", afirma. "Vemos portátiles inseguros todo el tiempo, y ofrecen de hecho la ejecución remota de código en un servidor muy fácilmente a un atacante. Es necesario proteger esta nueva superficie de ataque, lo que puede resultar difícil cuando un gran equipo de desarrolladores y científicos de datos necesitan acceder a esta infraestructura de forma remota para realizar su trabajo".

En última instancia, muchas de las mayores preocupaciones giran en torno a los datos y Anley cree que los equipos de seguridad no van a revelar sus problemas de seguridad de datos relacionados con la IA. "Los datos están en el corazón de la IA y esos datos son a menudo sensibles: financieros, personales o protegidos de otro modo por la regulación. El aprovisionamiento seguro de grandes conjuntos de datos es un reto y el trabajo en equipo es crucial para descubrir dónde están las verdaderas lagunas de seguridad, tanto en los sistemas como en la organización", afirma Anley.

McGraw está de acuerdo en que los problemas de seguridad de los datos son cruciales, y afirma que a medida que los responsables de la seguridad se hacen a la idea de los riesgos inherentes a sus máquinas de IA, deben ser conscientes de que "los datos son la máquina". En última instancia, cree que incluso si no toman medidas tangibles hoy, los CISO deberían al menos reforzar sus conocimientos sobre este tipo de cuestiones. Dice que toda esta área de gestión de riesgos de IA se parece mucho a cómo se sentía la seguridad de las aplicaciones hace 25 años.

"Todavía no está muy claro quién debería trabajar en esto", afirma. "Cuando encuentras a la gente, proceden de entornos muy diferentes: hay gente de la ciencia de datos, informáticos y gente de seguridad. Y ninguno de ellos realmente habla el mismo idioma".

Cuándo deben considerar los CISO un Red Team de IA

Está claro que los riesgos de la IA se están gestando. Muchos expertos dicen que esto por sí solo debería ser una señal de advertencia para que los CISO presten atención y comiencen a allanar el camino para el Red Team de IA, especialmente si una empresa está a la vanguardia del uso de la IA.

"Si acabas de desarrollar tu capacidad de IA y todavía no es una parte importante de tu negocio, está bien. Quizá no sea lo más importante", dice Hall. "Pero si estás utilizando la IA como apoyo para la toma de decisiones o -respirando hondo- para funciones de toma de decisiones automatizadas, entonces sí, necesitas tenerla en cuenta".

Pero el riesgo de la IA es sólo uno de los muchos que se disputan la atención y los limitados recursos de los CISO. Lo natural será que se pregunten si el Red Team de IA es realista a corto plazo y, lo que es más importante, si merece la pena invertir en él a medida que avanza el nicho. Podría ocurrir que los equipos de seguridad tuvieran que ocuparse de cosas más urgentes.

"Es importante tener en cuenta que las naciones-Estado y los actores de amenazas siempre buscarán la forma más fácil de entrar en un sistema utilizando las herramientas más baratas con las que se sientan cómodos. En otras palabras, la menor resistencia con el mayor impacto", afirma Matthew Eidelberg, ingeniero de gestión de amenazas de Optiv, que ha realizado ejercicios de Red Team para clientes que "cubren toda la superficie de ataque y casi siempre encuentra caminos más fáciles para acceder que piratear la IA".

Se trata de una tarea ardua para la mayoría de los CISO actuales. Ejecutar correctamente ejercicios de Red Team contra sistemas de IA requerirá un equipo multidisciplinar de expertos en seguridad, IA y ciencia de datos, una mejor visibilidad de los modelos de IA utilizados por la empresa -incluido el software de terceros-, un modelado de amenazas de la implementación de la IA y una forma de documentar y planificar mejoras de seguridad basadas en los resultados del Red Team. Se necesitará una inversión significativa y los CISO tendrán que equilibrar el atractivo de este nuevo campo brillante con la realidad de si los Red Team de IA van a valer su ROI basado en su postura de riesgo a corto plazo de la IA ya desplegada o las implementaciones de IA previstas.

Pero al igual que ha ocurrido con otras nuevas superficies de ataque que han surgido a lo largo de las décadas, como la computación en la nube o la distribución de aplicaciones móviles, esto debería estar en el radar de los CISO, afirma J.R. Cunningham, CSO de Nuspire. Cree que los directivos inteligentes no deberían buscar un enfoque de inversión de "todo o nada", sino empezar a desarrollar gradualmente su capacidad para probar sus sistemas.

"No creo que se trate de un momento en el que las organizaciones activen la capacidad una vez que la IA/ML alcance una cierta masa crítica, sino más bien de una ampliación de la capacidad de seguridad ofensiva existente que, con el tiempo, se volverá más completa y capaz", afirma. "Dicho esto, el primer gran ataque público contra la IA/ML impulsará la atención sobre el tema de la misma manera que las grandes brechas de tarjetas de crédito a principios de la década de 2010 impulsaron la inversión en segmentación de redes y protección de datos".

Incluso si los CISO no comienzan con las pruebas, al menos pueden empezar con algunos pasos incrementales, comenzando con el modelado de amenazas. Esto ayudará a entender los modos de fallo y lo que es más probable que se rompa o que esté roto, dice Kelley.

"Lo más importante es que la gente de tu equipo conozca la IA y el ML, lo que puede ir mal, y luego pueden empezar a hacer modelos de amenazas en torno a los sistemas que estás pensando en incorporar", dice. "Tienen que entender los riesgos y fallos de seguridad de la IA y el ML de la misma forma que entenderían los riesgos y fallos de las aplicaciones si estuvieran modelando aplicaciones de amenazas. Y lo más probable es que, a medida que vayas modelando nuevas aplicaciones o nuevas cargas de trabajo en la empresa, hables con los proveedores sobre cómo están utilizando la IA y el ML”.