¿Está preparado el CISO para el auge de la inteligencia artificial?

Si uno solicitara una lista de los desarrollos que más a menudo tienen en mente los CISO, la inteligencia artificial (IA) sin duda estaría cerca de la cima, y lo seguirá estando en los años venideros. Después de todo, hay pruebas claras de que los CISO y los profesionales de la seguridad cibernética en términos más generales ven simultáneamente un riesgo, una oportunidad y una prosperidad potencial inmensos en la adopción del aprendizaje automático (ML) y otros desarrollos de IA en todas las dimensiones de la empresa privada.

Además, la IA ya está implementada por más de un tercio de las empresas según el Índice de adopción de IA global de IBM de 2022, y al menos el 40% de otras organizaciones están considerando posibles usos.

Si la IA va a ser un pilar central de los desarrollos de ciberseguridad en el futuro que se vaticina, vale la pena hablar de una rareza que se encuentra en el discurso sobre su utilidad. Específicamente, gran parte de lo que se escribe sobre IA y ciberseguridad divide los roles de los operadores humanos y los sistemas de máquinas que idealmente resolverán muchos de los desafíos económicos y de seguridad del mundo digital.

La interacción entre máquinas y humanos se ve en términos bastante dualistas. En pocas palabras, esto significa que las máquinas son herramientas que ofrecen ventajas especializadas en diversas áreas, mientras que los humanos retienen cantidades sustanciales de control operativo.

 

Los CISO de IA serán autoridades en tácticas, estrategias y prioridades de recursos

Hasta cierto punto esta tendencia es comprensible. En ausencia del improbable desarrollo a corto plazo de una inteligencia artificial general (AGI) creíble que pueda simular más completamente la acción humana, es cierto que los sistemas de IA no serán más que ejercicios limitados pero poderosos en el desempeño de tareas. Incluso las aplicaciones de IA generativa, que cada vez más parecen revolucionar determinadas áreas de la industria, son sólo detectores de patrones que proporcionan una capacidad predictiva impresionante dadas las entradas limitadas.

Al mismo tiempo, sin embargo, los sistemas de soporte que se implementan ampliamente y que operan basándose en el juicio humano operacionalizado en datos de entrenamiento, acciones del usuario final y las aportaciones estructuradas de los desarrolladores, inevitablemente llegarán a actuar en nombre de los humanos y a operar con una grado de confianza. Después de todo, las herramientas y modelos que demuestren su capacidad para simular las preferencias estratégicas, morales y económicas de las empresas a lo largo del tiempo tendrán más responsabilidad frente a los operadores humanos.

El resultado es, en los términos más simples posibles, el surgimiento del rol del CISO de IA: autoridades de facto en las tácticas, estrategias y prioridades de recursos de organizaciones enteras. Los CISO humanos de hoy harían bien en considerar lo que esto significa para sus negocios.

 

El CISO de IA surge de la carrera armamentista entre atacantes y defensores

Imagina el siguiente escenario. Faltan varios años para el futuro y las campañas cibernéticas de todo tipo potenciadas por IA (operaciones de influencia, actividades de espionaje, misiones de infraestructura crítica, etc) son cada vez más comunes. El compromiso promedio de los sistemas de la industria privada ocurre varios órdenes de magnitud más rápido que en 2023 y el retorno del ataque por hora de acceso para los ciberdelincuentes es dos o tres veces mejor que en la actualidad.

Donde esto no es cierto es en aquellas situaciones en las que la IA defensiva, ya sea desarrollada internamente o adquirida de empresas de ciberseguridad, se ha implementado como contramedida para frustrar las intrusiones. Pero tales contramedidas no son una panacea. Más bien, son herramientas efectivas que, sin embargo, parecen estar en un estado beta perpetua, ya que la lógica de la carrera armamentista del aprendizaje de la IA adversaria significa que una buena defensa alimenta una mejor ofensiva.

El resultado lógico de tal situación es el CISO de IA. Después de todo, lo que ha estado en manos humanas durante tanto tiempo pasará necesariamente a ser competencia de los sistemas de respuesta de IA. Esto incluye no sólo tareas básicas que responden a conjuntos de reglas de toma de decisiones sino también tareas dinámicas. En parte, esto podría significar la selección de tácticas defensivas (o defensa activa) y el análisis de la estrategia del adversario.

Pero también implicará juicios de valor y consideraciones morales. Por ejemplo, qué tipos de datos o acceso a datos deben priorizarse para su protección es una decisión que contiene fundamentos éticos inherentemente variables que hacen referencia a los intereses de los accionistas, las responsabilidades cívicas, las métricas de ganancias, las líneas de base de gobernanza y los estándares de cumplimiento. En un momento, la inteligencia humana y la inteligencia de las máquinas convergerán de manera significativa.

 

Las ventajas de una alianza CISO IA/humana

Esto tiene ventajas potenciales, como ya se ha mencionado. Pero este resultado inevitable también tiene implicaciones preocupantes. Por un lado, si la mejor manera de considerar al defensor de la IA del mañana como una especie de interfaz distribuida entre máquina y hombre, entonces los planificadores de hoy deben reconocer que la agencia humana en el futuro será algo que será representado en lugar de empleado activamente.

Hemos visto esto antes en la historia de las tecnologías disruptivas y los resultados no siempre son estelares. Los seres humanos a menudo pierden el control sobre aspectos sociales, políticos o económicos que alguna vez moldearon directamente cuando recurren a las nuevas tecnologías pero, de manera alarmante, la ilusión de control a menudo persiste. Entonces, ¿cómo pueden los CISO humanos de hoy planificar para los CISO de IA del mañana?

Las ventajas de apoyarse en la construcción de sistemas que tengan autoridad de facto sobre diversas facetas de la empresa de ciberseguridad son bastante claras. Si es inevitable una carrera armamentista de IA en torno a la evolución de amenazas malignas a las empresas occidentales, entonces los CISO de IA son la clave para permitir que los defensores se mantengan al día. El marco de tiempo cada vez más ajustado para la respuesta a incidentes significa que los sistemas basados ??en la detección y el análisis rápidos de amenazas casi seguramente sobresaldrán donde los respondedores humanos no pudieron.

Del mismo modo, es casi seguro que las métricas que se derivan del uso de tales sistemas conducirán a producciones iterativamente mejores de modelos de aprendizaje automático que tengan estructuras de valores claras susceptibles de priorizar la mitigación de amenazas. La eficiencia, en definitiva, es la clara ventaja del CISO IA.

 

Las ventajas de la gobernanza de la ciberseguridad

Quizás una ventaja menos obvia sea la ventaja que se podría encontrar en la gobernanza de la ciberseguridad en su conjunto. Durante algún tiempo, los expertos en ciberseguridad han estado particularmente preocupados por la amenaza de una cascada de resultados negativos que podrían derivarse del aumento de herramientas con IA. La caída repentina del mercado de valores en 2010 a menudo se menciona como un ejemplo de este escenario de pesadilla en el que muchas cosas podrían salir mal más rápido de lo que un ser humano podría actuar para evitarlo.

En ese caso, el índice Dow Jones perdió casi 1.000 puntos en 36 minutos cuando los algoritmos de ventas automatizados reaccionaron a condiciones extrañas del mercado (se suele decir una venta accidental de varios órdenes de magnitud fuera de los parámetros normales). Si bien el mercado se recuperó, el impacto en el mercado fue una pérdida de más de un billón de dólares, debido enteramente a la interacción de algoritmos.

Vale la pena señalar que la misma lógica subyacente a este miedo común podría en realidad jugar a favor de normas más estandarizadas de práctica responsable y respuesta a amenazas aceptada en un mundo donde los CISO de IA interactúan con un conjunto común de capacidades en evolución de las máquinas adversarias. Es una idea fascinante para un espacio con relativamente pocas normas en torno a los enfrentamientos entre defensores y atacantes.

Implementar productos de IA que aprendan las mejores prácticas de un conjunto compartido de experiencias industriales significa una estandarización del conocimiento sobre cómo se desarrolla la ciberdefensa en la práctica. Tanto para el gobierno federal como para las iniciativas de gobernanza privada, la cascada de actividades como la nueva normalidad de la ciberdefensa ofrece puntos de contacto atractivos para coordinar reglas compartidas, tanto formales como informales, en torno a la ciberseguridad como una consideración de seguridad nacional.

 

El potencial de errores

Por muy atractiva que pueda ser la idea de que los CISO de IA puedan tomar eficazmente las prioridades y los requisitos de seguridad de los operadores humanos y ejecutarlos contra las crecientes amenazas ofensivas de la IA, el potencial de errores también es sustancial.

Como le dirá cualquier usuario no especializado de un LLM como ChatGPT, es notable la posibilidad de que se produzcan absolutas inexactitudes y malas interpretaciones en el uso de cualquier sistema de inteligencia artificial. Incluso suponiendo que los sistemas de IA defensivos puedan situarse dentro de márgenes aceptables de usabilidad, existe un peligro real de que los humanos involucrados crean que controlan resultados que están más allá de su capacidad de moldear. En parte, esto podría deberse a la voluntad de aceptar los sistemas de IA por lo que parecen ser: poderosas herramientas predictivas. Pero la investigación sobre las interacciones máquina-humano nos dice que hay más que considerar.

Trabajos recientes han enfatizado que las empresas y los ejecutivos de organizaciones son propensos a abusar de sistemas en los que se ha prometido la transformación paradigmática de una función empresarial existente o ya se han realizado grandes inversiones en una aplicación específica. En esencia, esto significa que los límites de lo que podría ser posible para tales adquisiciones se expanden gradualmente más allá de lo que es práctico, en gran medida porque las asociaciones positivas hechas por las partes interesadas con las "buenas prácticas comerciales" crean una visión de túnel y efectos de ilusiones.

 

Existe una tendencia a asumir que la IA tiene cualidades humanas

Y con la IA, esta tendencia va aún más allá. Como ocurre con cualquier desarrollo tecnológico suficientemente novedoso, los humanos somos propensos a asignar en exceso cualidades positivas a la IA como elemento de cambio para casi cualquier tarea. Pero los estudios psicológicos también han sugerido que la personalización de los sistemas de IA (en los que un modelo de IA podría ser capaz, por ejemplo, de construir agentes mecánicos con distintos estilos o personalidades basándose en la amplitud de los datos de entrenamiento) empuja a los usuarios a antropomorfizarse.

Supongamos que un equipo de ciberseguridad de una empresa financiera llama a su nueva herramienta de inteligencia artificial "Freya" porque el nombre real de la aplicación es sistema de "Respuesta Forense y Alarma Temprana". Al representar su sistema de inteligencia artificial ante ejecutivos, accionistas y empleados como Freya, el equipo comunica una cualidad humana a su colega máquina. A su vez, como nos dicen las investigaciones, esto inclina al ser humano promedio hacia suposiciones sobre la confiabilidad y los valores compartidos que pueden no tener base en la realidad.

Las posibles externalidades negativas de tal desarrollo son numerosas, como que los líderes de las empresas sean disuadidos de contratar talento humano debido a una falsa sensación de capacidad o a la voluntad de descartar información desconcertante sobre las fallas de los sistemas de inteligencia artificial de otras empresas.

 

¿La dependencia de los sistemas de IA conducirá a la pérdida de experiencia humana?

Más allá de estas posibles desventajas de la próxima era de los CISO de IA, existen realidades operativas a considerar. Como han señalado varios investigadores, es probable que la dependencia de los sistemas de IA esté asociada con una pérdida de experiencia en organizaciones que de otro modo mantendrían los recursos para contratar profesionales humanos y conservarían el interés en las habilidades que podrían aportar.

Después de todo, la automatización de más elementos del ciclo de vida de respuesta a las amenazas cibernéticas significa minimizar o eliminar a los humanos del ciclo de toma de decisiones. Esto podría ocurrir directamente cuando las empresas vean que a menudo no se necesita un profesional humano para supervisar una u otra área de responsabilidades del sistema de IA. Sin embargo, lo más probable es que se produzca una pérdida de experiencia, ya que a esas personas se les da menos que hacer, lo que provoca su migración a otros roles en la industria o incluso un traslado a otros campos.

Cabe preguntarse, por supuesto, por qué esto sería universalmente malo si esa experiencia no es a menudo necesaria. Pero hay una respuesta obvia: la falta de controles que impidan que los prejuicios y las emociones afecten las situaciones de seguridad. Y el aplanamiento de la fuerza laboral humana en una empresa en torno a nuevas capacidades de IA también implica una relación más pobre entre la planificación estratégica y las realidades tácticas.

Después de todo, una defensa cibernética eficaz y una planificación a largo plazo en torno a prioridades socioeconómicas (intereses comerciales, consideraciones de reputación, etc.) en lugar de cuestiones meramente técnicas requieren bases intelectuales (léase: humanas) sólidas.

Finalmente, como otros han observado, la próxima era de los CISO de IA está asociada con el potencial de conflictos cibernéticos autónomos que surgen más allá de fallos en los modelos subyacentes, datos incorrectos o patologías extrañas en la forma en que interactúan los algoritmos. Esta perspectiva es particularmente preocupante si se considera que los CISO de IA serán inevitablemente un conjunto de suposiciones morales, provincianas y socioeconómicas incorporadas. Si bien esto sugiere una normalización de las posturas de defensa, también actúa como base mediante la cual las cualidades humanas de los sistemas de IA podrían aprovecharse sistemáticamente para crear vulnerabilidad.

 

Se acerca la simbiosis hombre-máquina

Reconocer que el resultado lógico de la trayectoria en la que nos encontramos hoy es una simbiosis de facto entre los sistemas humanos y mecánicos es de suma importancia para los planificadores de seguridad. El CISO de IA es mucho menos "lo que podría ser" y más algo que inevitablemente será: una reducción real de nuestro control sobre la empresa de ciberseguridad debido a los desarrollos que estaremos incentivados a apoyar. Para prepararse mejor para este futuro, las empresas deben considerar hoy el valor de la investigación ciberpsicológica y los hallazgos del trabajo sobre innovación tecnológica.

Específicamente, las empresas de la industria privada harían bien en evitar la situación en la que un CISO de IA imbuido de supuestos éticos y sociológicos se desarrolle sin una planificación previa. Cualquier organización que visualice una capacidad sólida de IA como parte de su postura operativa en el futuro debería participar en exploraciones internas exhaustivas sobre cómo son las prioridades prácticas y éticas de la defensa.

Esto, a su vez, debería conducir a una declaración formal de prioridades y a un organismo encargado de actualizar periódicamente las mismas para reflejar las condiciones cambiantes. Garantizar la congruencia entre los resultados prácticos del uso de la IA y estos supuestos predeterminados será obviamente un objetivo de cualquier organización, pero esperar hasta que los sistemas de IA ya sean operativos corre el riesgo de que los resultados estén más influenciados por el uso de la IA que por una evaluación independiente.

 

Emplear la regla de la décima persona

Cualquier organización que prevea un uso extensivo de la IA en el futuro también haría bien en establecer una cultura y una estructura de fuerza laboral orientadas a la regla de la décima persona. Esta regla, con la que muchos profesionales de la industria ya estarán familiarizados, dicta que cualquier situación que conduzca a un consenso entre las partes interesadas relevantes debe ser cuestionada y reevaluada.

Es decir, si nueve de cada 10 profesionales están de acuerdo, es deber del décimo estar en desacuerdo. Anclar ese principio de supervisión contradictoria en el centro de los procedimientos internos de capacitación y reentrenamiento puede ayudar a compensar algunos de los posibles errores que se pueden encontrar en la pérdida de experiencia y control derivada del surgimiento de los CISO de IA.

Finalmente, el aprendizaje entre industrias sobre lo que funciona para la ciberseguridad de IA y las herramientas relacionadas es imprescindible. Específicamente, existen fuertes incentivos de mercado para probar productos que son convenientes pero que pueden fallar en alguna otra área, como la transparencia sobre los supuestos subyacentes del modelo, los datos de capacitación o el rendimiento del sistema. La ciberseguridad es un campo irónicamente propenso a resultados dependientes del camino que ven la inseguridad generada por los fantasmas de la tacañería del pasado. Quizás más que con cualquier otra evolución tecnológica en este espacio en las últimas tres décadas, las empresas de seguridad cibernética deben evitar esta selección de lo conveniente sobre lo mejor. Si no lo hacen, entonces la próxima era de los CISO de IA puede estar plagada de más trampas que promesas.