Evaluar y cuantificar el riesgo de la IA, un reto para las empresas

La inteligencia artificial (IA) puede ayudar a las empresas a través de la automatización o mejorando las tareas existentes, pero como cualquier tecnología, conlleva riesgos si no se gestiona bien. Para aquellas que decidieron crear su propia IA o comprar software con ella integrada, evaluar sus riesgos es un paso importante para garantizar el cumplimiento y la seguridad de los datos.

La explosión de la IA generativa ha magnificado esos y nuevos desafíos emergentes, y es el tema mejor clasificado por los líderes legales, de cumplimiento y de privacidad durante los dos próximos años, según un estudio de Gartner.

Para contrarrestar estos riesgos, las organizaciones pueden evaluar minuciosamente su exposición a la IA, y establecer pautas y estrategias de mitigación para hacer frente a los problemas más críticos del negocio. Estos planes difieren según el tipo de IA involucrada, que generalmente se divide en tres categorías, proyectos internos de IA, IA de terceros e IA utilizada maliciosamente por los ciberdelincuentes.

Cómo evaluar los riesgos internos de la IA

Ya sea mediante el uso de marcos de gestión de riesgos y calidad existentes o mediante la creación de un marco interno sobre cómo se pueden implementar los modelos, las empresas necesitan saber cómo se utiliza la IA internamente.

Marcos de gestión de riesgos y calidad

Una empresa que ha estado evaluando y cuantificando el rendimiento de sus modelos de IA desde hace un tiempo es ABBYY, una empresa de automatización de software inteligente. ABBYY lleva muchos años utilizando marcos de gestión de riesgos y gestión de la calidad, incluido el marco de gestión de riesgos ISO. Además, el NIST ha publicado recientemente la primera iteración de su marco de gestión de riesgos específicamente para la IA. Este marco es actualmente voluntario, pero en enero se presentó un proyecto de ley en la Cámara de Representantes de EE.UU. —en noviembre se presentó un proyecto de ley similar en el Senado— para hacerlo obligatorio para las agencias federales y los proveedores. Además, el NIST está ahora en proceso de establecer un Instituto de Seguridad de Inteligencia Artificial de EE. UU.

Estos marcos de IA son todavía muy rudimentarios, dice el evangelista de ética de IA de ABBYY, Andrew Pery. "Todavía es demasiado pronto", por lo que ABBYY se basa principalmente en marcos de gestión de riesgos más antiguos, que la empresa está aplicando ahora a sus proyectos de IA generativa. El producto principal de la empresa extrae datos y contenido de los documentos, y la empresa tiene objetivos de precisión específicos para sus modelos tradicionales de IA. "Hay matices con respecto a la gestión de riesgos y el aseguramiento de la calidad de la IA generativa". Esto incluye el rendimiento del modelo, la gobernanza de datos y el sesgo.

Para algunos casos de uso, es posible que la IA generativa aún no sea adecuada. "Por ejemplo, en los servicios financieros, la capacidad de proporcionar información precisa con respecto a la disposición de préstamos es extremadamente importante. Para ellos, el uso de la tecnología de IA generativa es especulativo y arriesgado. Lo mismo ocurre con el procesamiento de reclamaciones de seguros, la atención médica, el empleo y las solicitudes de recursos humanos".

ABBYY no es la única que experimenta con IA generativa y adopta un enfoque cuidadoso para evaluar los riesgos asociados. Según una encuesta de Wiz realizada a 150.000 cuentas de nube pública, el 70% de los entornos de nube utilizan ahora servicios de IA como Azure AI, que incluye OpenAI, así como Amazon SageMaker y Vertex AI de Google Cloud. La plataforma de IA más popular es OpenAI, que se encuentra en el 53% de los entornos en la nube. Le siguen de cerca Hugging Face y varios otros proyectos de código abierto.

Saber cómo se utiliza la IA en toda la organización

Estos modelos de IA plantean varios riesgos para las empresas, empezando por los de cumplimiento: algunos sectores, como el sanitario y el financiero, tienen directrices estrictas sobre cómo se pueden utilizar los modelos de IA. Dado que los modelos de IA también requieren datos, tanto para el entrenamiento como para el análisis y las incrustaciones en tiempo real, también existen riesgos de privacidad y pérdida de datos. Por último, los modelos de IA pueden ser inexactos, sesgados, propensos a alucinaciones o cambiar de forma impredecible a lo largo del tiempo.

Para tener una idea de todo esto, realice una encuesta exhaustiva sobre cómo se utiliza la IA. Eso requiere un enfoque tanto de arriba hacia abajo como de abajo hacia arriba, dice Priya Iragavarapu, vicepresidenta de servicios de tecnología digital de AArete, una firma de consultoría de gestión. "Los líderes empresariales deben revisar los procesos que utilizan la IA y asistir a las sesiones con el equipo de gobernanza de la IA y revisarlos", afirma. Y cuando los líderes no saben qué IA se está utilizando, es cuando entra en juego el enfoque ascendente: rastrear todos los puntos finales de una organización para encontrar los sistemas y los usuarios que acceden a las aplicaciones de IA. "La mayoría son aplicaciones basadas en la nube. Y cuando la gente los utiliza, el departamento de TI puede rastrear cada consulta a ChatGPT".

No es una solución perfecta, añade Iravavarapu. "Todavía hay cosas que echaremos de menos, que se nos escapan. Pero ahí es donde entra en juego la formación, la orientación y la educación exhaustivas, para que los usuarios y empleados puedan comprobarse a sí mismos antes de hacer algo estúpido".

Configure su propio marco de implementación de IA

Las empresas también deben establecer un marco sobre cómo se pueden implementar los modelos de IA, basado en el entorno de cumplimiento y la tolerancia al riesgo de una empresa. Por ejemplo, algunos casos de uso pueden requerir una revisión humana de todos los resultados de IA. Hay varias dimensiones de riesgos que son relevantes para la IA generativa, dice Iravavaracu. "¿A cuánta gente está afectando? ¿Qué tan grande es el impacto?" AArete trabaja con las empresas para ayudarlas a medir estos riesgos, con algunos puntos de referencia preliminares de riesgo de IA generativa disponibles para algunas industrias.

Esta es un área en la que muchas empresas de consultoría se están enfocando ahora. Ernst & Young, por ejemplo, está desarrollando un índice de confianza de la IA. "Nuestro índice de confianza se basa en cinco criterios: privacidad y seguridad, sesgo y equidad, confiabilidad, transparencia y explicabilidad, y el último es la rendición de cuentas", dice Kapish Vanvaria, líder de mercados de riesgo de EY Americas. Ese es uno de los ejes del índice. El otro incluye las regulaciones y la ética. "De este modo, se puede tener un mapa de calor de los diferentes procesos que se están analizando y de las funciones en las que se despliegan. Y puedes revisar cada uno de ellos y aplicarles un método de puntuación ponderada". En el ámbito legal y de cumplimiento, estos cálculos son relativamente sencillos, señala. "La mayoría de las regulaciones se basan en la puntuación y están alineadas con esas cosas".

En otras áreas, hay más discrecionalidad. Por ejemplo, una empresa podría evaluar la madurez en función de factores como tener una política de uso aceptable de la IA. "Se pueden aplicar puntuaciones numéricas a esto para medir las líneas de base y, a medida que se convierte en un objetivo móvil, aplicarle cambios", concluye Vanvaria.

Cómo evaluar el riesgo de la IA de terceros

Las empresas se han enfrentado durante mucho tiempo a problemas para proteger sus datos cuando utilizan servicios de terceros. Cualquier proveedor (proveedor de correo electrónico, proveedor de marketing, procesador de datos) puede tener acceso a datos confidenciales de la empresa e incluso transmitir ese acceso a sus propios proveedores. Las empresas ya han tenido suficientes dificultades para lidiar con la gestión de riesgos de terceros antes de la IA generativa. Ahora, con la IA generativa, los equipos de seguridad tienen que intensificar su vigilancia.

Las herramientas que antes no se consideraban riesgos de seguridad (programas de edición de fotos o correctores gramaticales) ahora podrían tener una funcionalidad de IA generativa y enviar texto o imágenes a una IA para su análisis. "Analizamos muy bien los términos legales del contrato", dice Greg Notch, CISO de Expel, un proveedor de operaciones de seguridad. "Trazamos la línea en el uso de nuestros datos para entrenar su modelo: puede usar nuestros datos para generar resultados, pero luego tiene que desecharlos".

Es un desafío mantenerse al tanto, ya que los proveedores pueden agregar nuevos servicios de IA en cualquier momento, dice Notch. Eso requiere ser obsesivo por estar al tanto de todos los contratos y cambios en las funcionalidades y los términos del servicio. Pero contar con un buen equipo de gestión de riesgos de terceros puede ayudar a mitigar estos riesgos. Si un proveedor existente decide agregar componentes de IA a su plataforma mediante el uso de servicios de OpenAI, por ejemplo, eso agrega otro nivel de riesgo a una organización. "Eso no es diferente del riesgo de cuarta parte que tenía antes, en el que utilizaban alguna empresa de marketing o alguna empresa de análisis. Por lo tanto, necesito ampliar mi programa de gestión de riesgos de terceros para adaptarme a él, u optar por no hacerlo hasta que comprenda el riesgo".

Uno de los aspectos positivos del Reglamento General de Protección de Datos (GDPR, de sus siglas inglesas) es que los proveedores están obligados a revelar cuándo utilizan subprocesadores. Si un proveedor desarrolla una nueva funcionalidad de IA internamente, una indicación puede ser un cambio en su política de privacidad. "Tienes que estar al tanto. Tengo la suerte de trabajar en un lugar que está muy orientado a la seguridad y tenemos un excelente equipo de gobernanza, riesgo y cumplimiento que hace este tipo de trabajo", dice Notch.

Evaluación de las amenazas externas a la IA

La IA generativa ya se utiliza para crear correos electrónicos de phishing y ataques de compromiso de correo electrónico empresarial (BEC), y el nivel de sofisticación de BEC ha aumentado significativamente, según Notch de Expel. "Si te estás defendiendo contra BEC, y todo el mundo lo está, las señales de que este no es un correo electrónico kosher son cada vez más difíciles de detectar, tanto para los humanos como para las máquinas. Puedes hacer que la IA genere una falsificación de correo electrónico y una falsificación de sitios web perfectas".

Poner un número específico a este riesgo es un desafío. "Esa es la cuestión canónica de la ciberseguridad: la cuantificación del riesgo en dólares", expresa Notch. "Se trata del tamaño de la pérdida, de la probabilidad de que ocurra y de la frecuencia con la que va a ocurrir". Pero hay otro enfoque. "Si lo pienso en términos de priorización y mitigación de riesgos, puedo dar respuestas con mayor fidelidad", dice.

Pery afirma que ABBYY está trabajando con proveedores de ciberseguridad que se centran en las amenazas basadas en IA generativa. "Hay nuevos vectores de ataque con la tecnología genAI que tenemos que conocer".

Estos riesgos también son difíciles de cuantificar, pero están surgiendo nuevos marcos que pueden ayudar. Por ejemplo, en 2023, el experto en ciberseguridad Daniel Miessler publicó The AI Attack Surface Map. "Un puñado de líderes de opinión y luminarias de la IA están haciendo un gran trabajo", afirma Sasa Zdjelar, director de confianza de ReversingLabs, quien añade que espera que organizaciones como CISA, NIST, Cloud Security Alliance, ENISA y otras formen grupos de trabajo especiales para hacer frente específicamente a estas nuevas amenazas.

Mientras tanto, lo que las empresas pueden hacer ahora es evaluar qué tan bien lo hacen en lo básico si aún no lo están haciendo. Lo que incluye comprobar que todos los endpoints están protegidos, si los usuarios tienen habilitada la autenticación multifactor, qué tan bien pueden los empleados detectar el correo electrónico de phishing, cuánta acumulación de parches hay y qué parte del entorno está cubierta por Zero Trust. Este tipo de higiene básica es fácil de pasar por alto cuando surgen nuevas amenazas, pero muchas empresas aún se quedan cortas en los fundamentos. Cerrar estas brechas será más importante que nunca a medida que los atacantes intensifiquen sus actividades.

También hay algunas cosas que las empresas pueden hacer para evaluar las amenazas nuevas y emergentes. Según Sean Loveland, director de operaciones de Resecurity, existen modelos de amenazas que se pueden utilizar para evaluar los nuevos riesgos asociados con la IA, incluida la inteligencia de amenazas cibernéticas ofensivas y el monitoreo de amenazas específicas de IA. "Esto le proporcionará información sobre sus nuevos métodos de ataque, detecciones, vulnerabilidades y cómo están monetizando sus actividades". Por ejemplo, dice, hay un producto llamado FraudGPT que se actualiza constantemente y se vende en la dark web y en Telegram. Para prepararse para los atacantes que utilizan IA, Loveland sugiere que las empresas revisen y adapten sus protocolos de seguridad y actualicen sus planes de respuesta a incidentes.

Los ciberdelincuentes utilizan la IA para predecir los mecanismos de defensa

Los piratas informáticos han descubierto cómo usar la IA para observar y predecir lo que están haciendo los defensores, dice Gregor Stewart, vicepresidente de inteligencia artificial de SentinelOne, y cómo adaptarse sobre la marcha. "Y estamos viendo una proliferación de malware adaptativo, malware polimórfico y propagación autónoma de malware", añade.

La IA generativa también puede aumentar el volumen de los ataques. Según un informe publicado por la empresa de inteligencia de amenazas SlashNext, se ha producido un aumento del 1.265% en los correos electrónicos maliciosos de phishing entre finales de 2022 y el tercer trimestre de 2023. "Algunos de los usuarios más comunes de chatbots de grandes modelos de lenguaje son ciberdelincuentes que aprovechan la herramienta para ayudar a escribir ataques de compromiso de correo electrónico empresarial y lanzar sistemáticamente ataques de phishing altamente dirigidos", dice el informe.

Según una encuesta de PwC realizada a más de 4.700 directores ejecutivos publicada en enero, el 64% afirma que es probable que la IA generativa aumente el riesgo de ciberseguridad para sus empresas en los próximos 12 meses. Además, la IA genérica se puede utilizar para crear noticias falsas. En enero, el Foro Económico Mundial publicó su Informe de Riesgos Globales 2024, ¿y cuál es el principal riesgo para los próximos dos años? Información errónea y desinformación impulsada por la IA. No solo los políticos y los gobiernos son vulnerables. Un informe de noticias falsas puede afectar fácilmente el precio de las acciones, y la IA generativa puede generar informes de noticias extremadamente convincentes a escala. En la encuesta de PwC, el 52% de los CEO dijo que la desinformación de la IA generativa afectará a sus empresas en los próximos 12 meses

.

La gestión de riesgos de IA tiene un largo camino por recorrer

Según una encuesta realizada por Riskonnect a 300 profesionales de riesgos y cumplimiento, el 93% de las empresas anticipan amenazas significativas asociadas con la IA generativa, pero solo el 17% de las empresas han capacitado o informado a toda la empresa sobre los riesgos de la IA generativa, y solo el 9% dice que está preparado para gestionar estos riesgos. Una encuesta similar de ISACA a más de 2.300 profesionales que trabajan en auditoría, riesgo, seguridad, privacidad de datos y gobierno de TI, mostró que solo el 10% de las empresas tenían una política integral de IA generativa, y más de una cuarta parte de los encuestados no tenían planes de desarrollar una.

Eso es un error. Las empresas deben centrarse en elaborar un plan holístico para evaluar el estado de la IA generativa en sus empresas, afirma Paul Silverglate, líder del sector tecnológico de Deloitte en Estados Unidos. Tienen que demostrar que es importante para la empresa hacerlo bien, estar preparados para reaccionar rápidamente y remediar si algo sucede. "El tribunal de la opinión pública, el tribunal de sus clientes, es muy importante", dice. "Y la confianza es el santo grial. Cuando uno pierde la confianza, es muy difícil recuperarla. Podrías terminar perdiendo cuota de mercado y clientes que son muy difíciles de recuperar". Todos los elementos de todas las organizaciones con las que ha trabajado se ven afectados por la IA generativa, añade. "Y no solo de alguna manera, sino de una manera significativa. Es omnipresente. Es ubicuo”.