Cómo regula la UE la inteligencia artificial: ¿Qué significa para la ciberseguridad?

El pasado 8 de diciembre de 2023, tras más de 36 horas de negociaciones, los legisladores de la Unión Europea acordaron los detalles de una nueva ley para regular la inteligencia artificial (IA). El documento, bautizado como Ley de IA, es uno de los primeros intentos en el mundo de establecer un conjunto completo de normas para la IA, y su objetivo es proteger los derechos de los consumidores al tiempo que se fomenta la innovación. Esta nueva legislación es "un logro histórico y un enorme hito hacia el futuro", declaró Carme Artigas, secretaria de Estado de Digitalización e Inteligencia Artificial.

El documento tiene implicaciones para la ciberseguridad y podría cambiar la forma de operar en la UE de gigantes tecnológicos como Google y Microsoft, así como de nuevas empresas de inteligencia artificial. Sin embargo, el impacto del proyecto de ley puede ir mucho más allá de las fronteras europeas: podría servir de modelo para otros países que quieran establecer normas para la IA. La forma en que los responsables políticos de la UE piensen sobre la intersección de la IA y la ciberseguridad podría servir como indicador de futuras tendencias normativas.

"La Ley de IA es necesaria porque la IA conlleva muchas amenazas", afirma Rob van der Veer, director senior de Software Improvement Group. "Es necesario establecer algunos guardarraíles, y la Ley de IA está haciendo precisamente eso".

El documento se redactó en 2021, pero se ha actualizado recientemente para incluir la IA generativa, que ha ganado tracción en los últimos tiempos. Ahora "establece normas para los modelos de IA grandes y potentes, garantizando que no presenten riesgos sistémicos para la UE y ofrece fuertes salvaguardias para nuestros ciudadanos y nuestras democracias contra cualquier abuso de la tecnología por parte de las autoridades públicas", dijo el coponente Dragos Tudorache, de Renew Europe.

Las entidades que incumplan estas normas podrían enfrentarse a sanciones de hasta 35 millones de euros o el 7% de la facturación mundial, en función de la naturaleza de la infracción y el tamaño de la empresa. Los ciudadanos pueden presentar quejas sobre los sistemas de IA y obtener aclaraciones sobre las decisiones tomadas.

El proyecto debe ser aprobado por el Parlamento y el Consejo para convertirse en ley, y no entrará en vigor antes de 2025. La Ley de IA establece normas claras, explicando qué usos de la IA están prohibidos en la UE y cuáles se consideran de alto riesgo.

La Ley de IA prohíbe los sistemas de puntuación social y la identificación biométrica en tiempo real

Varios expertos en tecnología entrevistados por CSO calificaron el documento de "gran comienzo" para la regulación de la IA. También dijeron que, dado el rápido avance de la inteligencia artificial, es bueno que el documento no profundice demasiado. "Es un texto jurídico, y debería proporcionar un cierto nivel de orientación en términos de requisitos, pero no debería entrar demasiado en los detalles técnicos, porque sabemos cuándo empiezan los problemas cuando los abogados empiezan a leer documentos técnicos", dice el Dr. Kris Shrishak, tecnólogo de interés público y senior fellow del ICCL Enforce.

Van der Veer está de acuerdo. "La Ley de IA deja gran parte de la normalización en manos de la industria, lo cual me parece acertado", afirma. "Es una decisión de diseño para que sea de alto nivel, de modo que pueda seguir siendo aplicable con el tiempo".

El documento divide los sistemas de IA en varios niveles: riesgo inaceptable (que incluye usos de la IA que están prohibidos), alto riesgo (que incluye infraestructuras críticas) y riesgo limitado y mínimo. "Me encantan las categorías", afirma Joseph Thacker, investigador de seguridad de AppOmni. "La IA está justo en la cúspide del ser humano más inteligente; vamos a tener que responder a preguntas realmente difíciles sobre para qué queremos permitir que la gente utilice la IA. Así que me encanta que haya un tipo de etiquetado inaceptable para empezar".

El proyecto de ley prohíbe varios usos de la IA, como los sistemas de puntuación social, que evalúan a las personas en función de su comportamiento, estatus socioeconómico u otras características. Estos sistemas, a menudo considerados invasivos y discriminatorios, plantean riesgos para la privacidad individual y los valores de la sociedad. El documento también prohíbe las prácticas que influyen secretamente en las personas o grupos vulnerables para que cambien su comportamiento. Por ejemplo, sería contrario a la ley tener juguetes activados por la voz que pudieran promover acciones de riesgo en los niños.

El documento también prohíbe el uso de sistemas de categorización biométrica basados en creencias políticas, religiosas o filosóficas, orientación sexual o características raciales. También prohíbe la recopilación de imágenes faciales de Internet o de grabaciones de CCTV para crear bases de datos de reconocimiento facial. Además, se ilegaliza el uso de tecnología de reconocimiento de emociones en lugares de trabajo y centros educativos.

Thacker afirma que la categoría de riesgo inaceptable tiene algunos agujeros. "Un tipo de métrica de seguridad de la IA que veo en todas mis pruebas es la noción de que los modelos de IA nunca deben responder cuando se les pide que hagan daño masivo, por ejemplo, crear un arma biológica o algún tipo de pandemia, o una bomba que pueda herir a mucha gente", dice. "No he notado que se mencione en absoluto".

Thacker sugiere abordar el problema desde ambos ángulos para prevenir situaciones como ésta. "Se pueden resolver a nivel de modelo, en el entrenamiento, pero también se pueden resolver tratando de hacer algunas protecciones, que analicen lo que los usuarios están pidiendo a los sistemas de IA y luego rechazarlo allí".

Las infraestructuras críticas y los sistemas de alto riesgo necesitan una evaluación de ciberseguridad

El siguiente escalón lo componen los sistemas de alto riesgo, que necesitan ser evaluados antes de su puesta en el mercado y a lo largo de su ciclo de vida, según el documento. Los sistemas de alto riesgo pueden dividirse en dos categorías.

La primera incluye productos para sectores como la sanidad, la aviación, la automoción, los fabricantes de juguetes y otros que entran en el ámbito de aplicación de la legislación de la UE sobre seguridad de los productos. La segunda agrupa los sistemas de IA que deben registrarse en una base de datos de la UE, y que se enumeran en el anexo III de la Ley de IA. Entre ellos figuran:

• Gestión y explotación de infraestructuras críticas
• Educación y formación profesional
• Empleo, gestión de trabajadores y acceso al autoempleo
• Acceso y disfrute de servicios privados esenciales y servicios y prestaciones públicas
• Cumplimiento de la ley
• Gestión de la migración, el asilo y el control de fronteras

Además, los miembros del Parlamento Europeo han añadido a la lista de alto riesgo los sistemas de IA que se utilizan para manipular los resultados electorales y el comportamiento de los votantes. "En todos estos sectores, si se utilizan sistemas de IA o componentes de IA, hay que tener en cuenta las partes específicas de IA a la hora de realizar las comprobaciones de cumplimiento", afirma el Shrishak.

Según van der Veer, las organizaciones que entran en las categorías anteriores deben realizar una evaluación de riesgos de ciberseguridad. A continuación, deben cumplir las normas establecidas por la Ley de IA o la Ley de Ciberresiliencia, esta última más centrada en los productos en general. Esta situación podría ser contraproducente. "La gente, por supuesto, elegirá la ley con menos requisitos, y me parece raro", dice. "Creo que es problemático".

Proteger los sistemas de alto riesgo

En lo que respecta a los sistemas de alto riesgo, el documento insiste en la necesidad de medidas de ciberseguridad sólidas. Aboga por la implantación de sofisticados dispositivos de seguridad para protegerse de posibles ataques.

"La ciberseguridad desempeña un papel crucial a la hora de garantizar que los sistemas de IA sean resistentes a los intentos de alterar su uso, comportamiento y rendimiento o de comprometer sus propiedades de seguridad por parte de terceros malintencionados que exploten las vulnerabilidades del sistema", reza el documento. "Los ciberataques contra los sistemas de IA pueden aprovechar activos específicos de la IA, como conjuntos de datos de entrenamiento (por ejemplo, envenenamiento de datos) o modelos entrenados (por ejemplo, ataques de adversarios), o explotar vulnerabilidades en los activos digitales del sistema de IA o en la infraestructura TIC subyacente. En este contexto, los proveedores de sistemas de IA de alto riesgo deberán adoptar las medidas adecuadas, teniendo también en cuenta, en su caso, la infraestructura TIC subyacente".

La Ley de IA tiene algunos párrafos más que hacen zoom en la ciberseguridad, siendo los más importantes los incluidos en el artículo 15. Este artículo establece que los sistemas de IA de alto riesgo deben adherirse al principio de "seguridad desde el diseño y por defecto", y deben funcionar de forma coherente durante todo su ciclo de vida. El documento también añade que "el cumplimiento de estos requisitos incluirá la aplicación de medidas de vanguardia, según el segmento de mercado específico o el ámbito de aplicación".

El mismo artículo habla de las medidas que podrían adoptarse para protegerse de los ataques. Dice que las "soluciones técnicas para abordar las vulnerabilidades específicas de la IA incluirán, cuando proceda, medidas para prevenir, detectar, responder, resolver y controlar los ataques que intenten manipular el conjunto de datos de entrenamiento ("envenenamiento de datos"), o los componentes preentrenados utilizados en el entrenamiento ("envenenamiento del modelo"), las entradas diseñadas para hacer que el modelo cometa un error ("ejemplos adversos" o "evasión del modelo"), los ataques a la confidencialidad o los defectos del modelo, que podrían conducir a una toma de decisiones perjudicial".

"Lo que la Ley de IA está diciendo es que si estás construyendo un sistema de alto riesgo de cualquier tipo, tienes que tener en cuenta las implicaciones de ciberseguridad, algunas de las cuales podrían tener que ser tratadas como parte de nuestro diseño del sistema de IA", dice el Dr. Shrishak. "Otras, en realidad, podrían abordarse más desde un punto de vista holístico del sistema".

Según el Dr. Shrishak, la Ley de IA no crea nuevas obligaciones para las organizaciones que ya se toman la seguridad en serio y cumplen la normativa.

Cómo abordar el cumplimiento de la Ley de IA

Las organizaciones deben ser conscientes de la categoría de riesgo en la que se encuentran y de las herramientas que utilizan. Deben conocer a fondo las aplicaciones con las que trabajan y las herramientas de IA que desarrollan internamente. "Muchas veces, el liderazgo o el lado legal de la casa ni siquiera saben lo que los desarrolladores están construyendo", dice Thacker. "Creo que para las pequeñas y medianas empresas, va a ser bastante difícil".

Thacker aconseja a las startups que crean productos para la categoría de alto riesgo que contraten a expertos para gestionar el cumplimiento normativo lo antes posible. Contar con las personas adecuadas podría evitar situaciones en las que una organización crea que las normativas le son aplicables, pero no lo son, o al revés.

Si una empresa es nueva en el campo de la IA y no tiene experiencia con la seguridad, podría tener la falsa impresión de que con sólo comprobar cosas como el envenenamiento de datos o ejemplos de adversarios podría satisfacer todos los requisitos de seguridad, lo cual es falso. "Probablemente, el texto legal podría haber hecho algo mejor en este aspecto", afirma el Dr. Shrishak. Debería haber dejado más claro que "se trata sólo de requisitos básicos" y que las empresas deben pensar en el cumplimiento de una forma mucho más amplia.

Aplicación de la normativa de la UE sobre IA

La Ley de IA puede ser un paso en la dirección correcta, pero una cosa es tener normas para la IA y otra hacer que se cumplan. Aplicarlas correctamente es otra. "Si un regulador no puede hacerlas cumplir, entonces, como empresa, realmente no necesito seguir nada: es sólo un trozo de papel", dice el Dr. Shrishak.

En la UE, la situación es compleja. Un trabajo de investigación publicado en 2021 por los miembros de la Robotics and AI Law Society sugería que los mecanismos de aplicación considerados para la Ley de IA podrían no ser suficientes. "La experiencia con el GDPR muestra que la dependencia excesiva de la aplicación por parte de las autoridades nacionales conduce a niveles muy diferentes de protección en toda la UE debido a los diferentes recursos de las autoridades, pero también debido a las diferentes opiniones sobre cuándo y cómo tomar medidas", se lee en el documento.

Thacker también cree que "es probable que la aplicación de la normativa vaya muy retrasada "por múltiples razones. En primer lugar, podría haber falta de comunicación entre los distintos organismos gubernamentales. En segundo lugar, puede que no haya suficientes personas que entiendan tanto de IA como de legislación". A pesar de estas dificultades, los esfuerzos proactivos y la formación interdisciplinar podrían colmar estas lagunas no sólo en Europa, sino en otros lugares que pretendan establecer normas para la IA.

Regulación de la IA en todo el mundo

Lograr un equilibrio entre la regulación de la IA y el fomento de la innovación es una tarea delicada. En la UE ha habido intensas conversaciones sobre hasta dónde llevar estas normas. El presidente francés Emmanuel Macron, por ejemplo, argumentó que las empresas tecnológicas europeas podrían estar en desventaja frente a sus competidoras de Estados Unidos o China.

Tradicionalmente, la UE regulaba la tecnología de forma proactiva, mientras que EE.UU. fomentaba la creatividad, pensando que las normas podían establecerse un poco más tarde. "Creo que hay argumentos a favor y en contra", afirma Derek Holt, Consejero Delegado de Digital.ai. "Tenemos que fomentar la innovación, pero hacerlo de forma que sea segura y protegida".

En los próximos años, los gobiernos tenderán a favorecer un enfoque u otro, aprenderán unos de otros, cometerán errores, los solucionarán y luego corregirán el rumbo. No regular la IA no es una opción, dice el Dr. Shrishak. Sostiene que hacerlo perjudicaría tanto a los ciudadanos como al mundo de la tecnología.

La Ley de Inteligencia Artificial, junto con iniciativas como la orden ejecutiva del Presidente Biden sobre inteligencia artificial, están abriendo un debate crucial para nuestra generación. Regular la IA no es sólo dar forma a una tecnología. Se trata de asegurarse de que esta tecnología se alinea con los valores que sustentan nuestra sociedad.