Conseguir el equilibrio entre los riesgos y los beneficios de la IA, el nuevo desafío del CISO

El rápido ritmo de cambio que experimenta la IA hace difícil balancear los riesgos y beneficios de esta tecnología. Los CISO no deberían esperar para tomar las riendas de esta situación, dado que los riesgos van desde los ataques de inyección de 'prompts' hasta la fuga de datos, pasando por otros aspectos relacionados con la gobernanza y el cumplimiento de la regulación. Todos los proyectos de IA presentan estos problemas en cierta medida, pero el rápido crecimiento y despliegue de la llamada 'IA generativa' está poniendo a prueba los límites de los controles existentes, al mismo tiempo que abre nuevas líneas de vulnerabilidad.

Si la investigación de mercado sirve de indicación de hacia dónde se dirige el uso de la IA, los CISO pueden esperar que el 70% de las organizaciones exploren la IA generativa impulsada por el uso de ChatGPT. Casi todos los líderes empresariales afirman que su empresa está priorizando al menos una iniciativa relacionada con los sistemas de IA a corto plazo, según un informe de mayo de PricewaterhouseCoopers.

La razón del auge de la inversión no es sólo defensiva. Goldman Sachs predice que la IA generativa podría aumentar el PIB mundial en un 7%. Según McKinsey, los principales casos de uso de la IA son las operaciones con clientes, marketing y ventas, I+D e ingeniería de software. En software, por ejemplo, una encuesta de la consultora de estrategia global Altman Solon muestra que casi una cuarta parte de las empresas tecnológicas ya utilizan IA para el desarrollo de software, y es probable que otro 66% la adopte en el próximo año.

Ciberataques impulsados por la IA

Según Gartner, el 68% de los ejecutivos cree que los beneficios de la IA generativa superan a los riesgos, frente a sólo un 5% que opina que los riesgos superan a los beneficios. Sin embargo, es posible que los ejecutivos empiecen a cambiar de perspectiva a medida que se profundice en las inversiones, afirma Frances Karamouzis, analista de Gartner, en el informe. "Es probable que las organizaciones se enfrenten a una serie de cuestiones de confianza, riesgo, seguridad, privacidad y ética cuando empiecen a desarrollar e implantar la IA generativa", afirma.

Uno de los riesgos más recientes es el de los ataques de inyección de 'prompts', un vector de amenaza totalmente nuevo para las organizaciones. "Es un nuevo vector de ataque, un nuevo vector de compromiso, y los controles de seguridad heredados no son lo suficientemente buenos", afirma Avivah Litan, analista de Gartner. En otros casos, los usuarios de chatbot han sido capaces de ver las indicaciones de otros, dice.

Se han visto muchos casos públicos de "jailbreaking" de ChatGPT y otros grandes modelos lingüísticos engañándolos para que hagan cosas que se supone que no deben hacer, como escribir malware o dar instrucciones para fabricar bombas. Una vez que las empresas empiecen a desplegar sus propias IA generativas, por ejemplo para los servicios de atención al cliente, las "jailbreaks" podrían permitir a los malos actores acceder a las cuentas de otros o realizar otras acciones dañinas.

A principios de este año, OWASP publicó su lista de las diez vulnerabilidades más críticas observadas en los grandes modelos lingüísticos, y las inyecciones de 'prompts' ocupaban el primer lugar. Los atacantes también podrían explotar estos modelos para ejecutar código malicioso, acceder a recursos restringidos o envenenar los datos de entrenamiento. Cuando las empresas implantan los modelos por sí mismas, tienen la posibilidad de colocar cortafuegos en torno a las instrucciones, así como capacidad de observación y detección de anomalías en el entorno de las instrucciones. "Puedes ver lo que ocurre y crear controles", afirma Litan.

Este no es necesariamente el caso de los proveedores externos. Incluso si un proveedor tiene controles de seguridad de primera categoría sobre los datos de entrenamiento utilizados inicialmente para crear el modelo, los chatbots necesitarán acceder a los datos operativos para funcionar. "Los controles de protección heredados no son aplicables a los datos que entran en el modelo y a las inyecciones rápidas", dice Litan. "Realmente tiene sentido mantener todo esto en las instalaciones - pero tienes que poner las protecciones en su lugar".

Mitigar el riesgo de exposición de datos por el uso de IA

A los empleados les encanta ChatGPT, según una encuesta de Glassdoor realizada a más de 9.000 profesionales estadounidenses que reveló que el 80% se oponía a la prohibición de esta tecnología. Pero ChatGPT y otros grandes modelos lingüísticos similares se entrenan continuamente basándose en sus interacciones con los usuarios. El problema es que si un usuario pide ayuda para editar un documento lleno de secretos de empresa, la IA podría conocer esos secretos y desvelarlos a otros usuarios en el futuro. "Son preocupaciones muy válidas y realistas", afirma Jeff Pollard, analista de Forrester Research.

"Hemos visto a médicos que cogían información de pacientes y la subían a ChatGPT para escribir cartas a los pacientes", dice Chris Hodson, CSO de Cyberhaven. Las plataformas diseñadas específicamente para uso empresarial sí se toman en serio este asunto, afirma Pollard, de Forrester. "No les interesa conservar tus datos porque entienden que es un impedimento para la adopción", afirma.

La forma más segura de desplegar IA generativa es ejecutar modelos privados en su propia infraestructura. Sin embargo, según Altman Solon, ésta no es la opción más popular, ya que sólo la prefiere el 20% de las empresas. Alrededor de un tercio opta por desplegar IA generativa utilizando el propio entorno del proveedor, aprovechando la infraestructura pública. Esta es la opción menos segura, ya que requiere que la organización deposite una gran confianza en el proveedor de IA generativa.

La mayor parte de las empresas, el 48%, están desplegando en entornos de nube de terceros, como nubes privadas virtuales. Por ejemplo, Microsoft ofrece despliegues ChatGPT seguros y aislados para clientes empresariales en su nube Azure. Según Microsoft, más de 1.000 clientes empresariales ya utilizaban ChatGPT y otros modelos de OpenAI en el servicio Azure OpenAI en marzo, y el número aumentó a 4.500 a mediados de mayo. Entre las empresas que utilizan el servicio se encuentran Mercedes-Benz, Johnson & Johnson, AT&T, CarMax, DocuSign, Volvo e Ikea.

Riesgos de la IA en la gobernanza y el cumplimiento

El ritmo récord de adopción de la IA generativa está superando con creces la capacidad de las empresas para controlar la tecnología. "Conozco a personas que ahorran grandes cantidades de tiempo cada semana en sus trabajos y nadie en esas organizaciones lo sabe", afirma Gerry Stegmaier, socio especializado en ciberseguridad y aprendizaje automático del bufete de abogados global Reed Smith LLP. "Las empresas están obteniendo mejoras radicales de productividad individual hoy en día a nivel de empleado individual, pero en su mayor parte no son conscientes de las ganancias de productividad por parte de sus empleados".

Según una encuesta de Fishbowl publicada en febrero, el 43% de los profesionales ha utilizado herramientas como ChatGPT, pero casi el 70% de ellos lo hizo sin el conocimiento de su jefe. Esto significa que las empresas pueden estar asumiendo una deuda técnica en forma de riesgo legal y normativo, afirma Stegmaier, una deuda que desconocen y no pueden medir.

Un informe reciente de Netskope, basado en datos de uso y no en encuestas, muestra que el uso de ChatGPT está creciendo un 25% mes a mes, con un 1% de todos los empleados utilizando ChatGPT a diario. Como resultado, alrededor del 10% de las empresas están bloqueando el uso de ChatGPT por parte de los empleados.

La falta de visibilidad de lo que hacen los empleados es sólo la mitad de la batalla. También hay que tener en cuenta las leyes y normativas. "Las grandes empresas necesitan cierta previsibilidad. Y ahora mismo la incertidumbre es inconmensurable", afirma Stegmaier.

Hay incertidumbre sobre la propiedad intelectual y los datos de formación que entran en los modelos, incertidumbre sobre la normativa de privacidad y seguridad de los datos, y cada vez surgen nuevos riesgos legales y de cumplimiento de la normativa. Por ejemplo, en junio, OpenAI fue demandada por difamación e injurias tras afirmar que un locutor de radio había malversado fondos. OpenAI u otras empresas demandadas por lo que sus chatbots dicen a la gente pueden o no ser responsables de lo que dicen los bots. Depende de cómo se apliquen las leyes de responsabilidad del producto. "Si el dinero es lo bastante real, la gente se vuelve creativa en su teoría legal", dice Stegmaier.

Ha habido algunos cambios en cuanto a si el software es un producto o no, y las implicaciones potenciales podrían ser monumentales, según Stegmaier. También existe la posibilidad de nuevas leyes sobre privacidad de datos, como la Ley de Inteligencia Artificial de la UE. Sin embargo, Stegmaier no espera que se aprueben leyes similares en Estados Unidos en un futuro próximo, porque es difícil llegar a un consenso. "La IA es muy atractiva para los consumidores, para las empresas y para los reguladores", afirma. "Cuando estas tres cosas se juntan, a menudo hay una tendencia a que se produzca una nueva aplicación o una nueva actividad reguladora".

Para mantenerse a la vanguardia, recomienda que las organizaciones aceleren su curva de aprendizaje de IA generativa para que puedan aplicar sus actuales herramientas de mejores prácticas, incluidas la privacidad por diseño, la seguridad por diseño y los principios contra la discriminación. "Con respecto a la IA generativa, 'correr rápido y romper cosas' no va a ser una estrategia aceptable a escala, especialmente para las grandes empresas", afirma Stegmaier.

Por desgracia, dependiendo del modelo de despliegue, las empresas pueden tener poca o ninguna visibilidad de lo que está pasando con la IA generativa, incluso si saben que está ocurriendo. Por ejemplo, si un empleado pide ayuda a ChatGPT para escribir una carta a un cliente, la plataforma necesitará obtener cierta información sobre el cliente, como mínimo, mientras elabora su respuesta. Eso significa que, durante algún tiempo, los datos estarán en los servidores de OpenAI. Además, si el empleado hace que ChatGPT guarde el historial de la conversación, los datos permanecerán en esos servidores indefinidamente.

El problema del movimiento de datos es especialmente importante en Europa y otras jurisdicciones con leyes de residencia de datos, dice Carm Taglienti, ingeniero de Insight Enterprises. "No se sabe muy bien adónde van a parar", afirma. "No sabes qué operaciones se han realizado con los datos que has enviado. Una vez que está fuera de tu control, es una vulnerabilidad". Recomienda que las organizaciones reflexionen seriamente sobre los controles que necesitan tener en su lugar si planean utilizar IA generativa. Un punto de partida es el Marco de Gestión de Riesgos de la IA del NIST, sugiere.

Lo ideal sería que las empresas pensaran en cuestiones de gobernanza antes de elegir una plataforma. Sin embargo, según una encuesta de KPMG, sólo el 6% de las organizaciones cuenta con un equipo dedicado a evaluar el riesgo de la IA generativa y aplicar estrategias de migración de riesgos. Además, sólo el 35% de los ejecutivos afirma que su empresa planea centrarse en mejorar la gobernanza de los sistemas de IA en los próximos 12 meses, y sólo el 32% de los profesionales del riesgo afirma que participa actualmente en la fase de planificación y estrategia de las aplicaciones de IA generativa. Por último, sólo el 5% cuenta con un programa maduro de gobernanza responsable de la IA, aunque el 19% está trabajando en uno y casi la mitad afirma que tiene previsto crearlo.

¿Qué deben hacer primero las empresas? "Mi recomendación es que los CSO comiencen inmediatamente a educar a sus empleados sobre los riesgos potenciales del uso de IA generativa", dice Curtis Franklin, analista principal de gestión de seguridad empresarial en Omdia. "Es poco probable que puedan detenerla, pero tienen que hacer saber a sus empleados que existen riesgos asociados a ella. Eso es inmediato. Para cuando termine de leer este artículo ya debería estar pensando en cómo hacerlo".

El siguiente paso es formar un comité en el que participen las partes interesadas de las distintas unidades de negocio para estudiar cómo puede utilizarse legítimamente la IA generativa en la organización, y empezar a sopesar estas ventajas frente a los riesgos. "Hay que tener un marco basado en el riesgo para tomar decisiones sobre cómo se va a utilizar y proteger a la organización contra posibles usos indebidos o deficientes", afirma Franklin.