El experto en seguridad Evan Peña utiliza modelos grandes de lenguaje (LLM, de sus siglas inglesas) casi a diario “para confirmar respuestas o generar otras ideas sobre cómo investigar una vulnerabilidad”. Estas herramientas de procesamiento de lenguaje natural que se basan en redes neuronales artificiales pueden generar texto o código casi como los humanos, y también reconocer patrones.

Aprovechar su potencial es parte del trabajo de este directivo. Es director general de servicios profesionales en Google Cloud y ha dirigido el red team de Mandiant durante más de un lustro. Para él usar estas tecnologías significa terminar las tareas rápidamente, un factor esencial en la seguridad, un campo en el que la carga de trabajo suele ser alta y la escasez de habilidades una verdadera lucha.

En su momento, Peña y sus colegas necesitaron una utilidad de C# para probar una combinación conocida de nombre de usuario y contraseña en una cantidad de hosts dentro de una red. “Dado que era un equipo rojo, no queríamos usar herramientas de código abierto para lograr esto a fin de evitar indicadores estáticos y la detección por parte de los EDR. Pudimos desarrollar esta herramienta y probarla en un entorno de práctica antes de usarla en uno de producción en unas pocas horas”. El producto les permitió identificar el acceso del administrador local en un sistema y realizar movimientos laterales.

Los equipos rojos y azules pueden usar LLM para muchas más tareas. La firma de seguridad ofensiva Bishop Fox explora cómo estos modelos pueden impulsar las campañas de ingeniería social, y el proveedor Check Point aprovecha la inteligencia artificial (IA) para optimizar la investigación de malware y la búsqueda de vulnerabilidades, mientras que Cossack Labs la usa cuando recluta expertos en seguridad para su negocio de soluciones de protección de datos.

Cómo los equipos rojos y azules usan LLM en su trabajo

Los grandes modelos de lenguaje han comenzad a revolucionar la forma en que los equipos rojos y azules hacen su trabajo. Estas herramientas se utilizaron por primera vez para automatizar tareas mundanas, lo que puede liberar tiempo y recursos valiosos. Sin embargo, poco a poco, están empezando a llegar a áreas más complejas de la ciberseguridad.

“Es seguro decir que los LLM y la IA generativa han revolucionado la capacidad del red team para realizar campañas de ingeniería social y phishing a gran escala”, dice Brandon Kovacs, consultor senior de Bishop Fox. “Por ejemplo, el uso de LLM han sido entrenados previamente en miles de millones de parámetros de texto humano, además de proporcionar a estos modelos datos adicionales de fuentes públicas con respecto al objetivo, nos ha permitido crear campañas muy convincentes y personalizadas a escala de manera instantánea”.

Algunos de estos departamentos también han encontrado formas contrarias a la intuición de obtener ayuda de la IA. Anastasiia Voitova, jefa de ingeniería de seguridad en Cossack Labs, indica que su equipo azul está pensando en esta tecnología para el proceso de reclutamiento. “Cuando contrato nuevos ingenieros les doy una tarea de prueba, y algunos de ellos simplemente preguntan a ChatGPT y luego copian y penga la respuesta sin pensar. Esta es una buena herramienta, pero no es un ingeniero, por lo que contratar candidatos que no poseen el conjunto adecuado de habilidades podría hacer nuestra vida más complicada”.

Añadir LLM a equipos rojos y azules

Los equipos rojos y azules que buscan incorporar grandes modelos de lenguaje en su flujo de trabajo deben hacerlo de manera sistemática. Tienen que "dividir su trabajo diario en procesos y luego revisar cada paso y determinar si LLM puede ayudarlos en un algo específico o no".

Esto no es simple y requiere que los expertos en seguridad piensen de manera diferente. Es un "cambio de paradigma", como dice Kovacs. Confiar en una máquina para realizar tareas relacionadas con la seguridad cibernética que normalmente realizaban los humanos puede ser un ajuste bastante desafiante si los riesgos de seguridad que plantea la nueva tecnología no se analizan a fondo.

Sin embargo, afortunadamente, las barreras de entrada para entrenar y ejecutar sus propios modelos de IA se han reducido durante el año pasado, en parte gracias a la prevalencia de las comunidades de IA en línea, como HuggingFace, que permiten que cualquier persona acceda y descargue modelos de código abierto usando un SDK. "Por ejemplo, podemos descargar y ejecutar rápidamente los Modelos de lenguaje de transformador preentrenados abiertos (OPT) localmente en nuestra propia infraestructura, lo que nos brinda la equivalencia de respuestas similares a GPT, en solo unas pocas líneas de código, sin las restricciones típicamente implementadas por el equivalente de ChatGPT", dice Kovacs.

Tanto los equipos rojos como los azules que deseen utilizar modelos de lenguaje extenso deben considerar la posible implicación ética de esta tecnología. Esto incluye la privacidad, la confidencialidad de los datos, los sesgos y la falta de transparencia a su alrededor. Como dice Kovacs, "la toma de decisiones de la IA puede ser bastante opaca".

Sin embargo, al usar LLM, tanto los equipos rojos como los azules deben tener una cosa en mente. "La tecnología no es perfecta. La IA y los LLM aún son relativamente nuevos y están en su etapa inicial. Ya sea mejorando la seguridad de los sistemas de IA o abordando las preocupaciones éticas y de privacidad introducidas por esta tecnología, todavía tenemos un largo camino por recorrer".

Kovacs y la mayoría de los investigadores ven a los LLM como una forma de complementar y ayudar a los equipos rojos y azules, no reemplazarlos por completo, porque si bien estos modelos se destacan en el procesamiento de datos y la obtención de información, carecen de intuición y contexto humanos. "Los LLM aún están lejos de poder reemplazar a los investigadores o tomar decisiones relacionadas con la investigación cibernética/equipos rojos. Es una herramienta que ayuda en el trabajo, pero los investigadores todavía tienen que revisar su resultado".

La calidad de los datos también es importante, como señala Kovacs: "La eficacia de los LLM y los resultados que proporcionan están muy influenciados por la calidad de los datos proporcionados durante el entrenamiento del modelo".

En los próximos años, esta tecnología se integrará cada vez más en la vida cotidiana de los expertos en tecnología, lo que podría convertir a todos en un "usuario avanzado de ciberseguridad". Han comenzado a surgir herramientas que hacen eso, como la recientemente presentada Charlotte AI de CrowdStrike. Charlotte AI es un analista de seguridad generativo basado en IA que los clientes pueden usar. Pueden hacer preguntas en inglés sencillo y en docenas de otros idiomas y recibirán respuestas. "Los modelos de lenguaje grandes se construyen para incorporar conocimiento de almacenes de datos externos, así como datos generados a partir de tecnologías como la plataforma Falcon", asegyra un portavoz de CrowdStrike.

En este contexto, para cualquier miembro del equipo rojo y azul, es imprescindible mantenerse al día con la evolución de la IA. En los próximos años, se utilizarán herramientas cada vez más sofisticadas tanto ofensiva como defensivamente. "En el lado ofensivo, podemos esperar ver ataques más avanzados y automatizados, además de ataques de ingeniería social cada vez más avanzados, como deepfakes o phishing de voz", dice Kovacs. "En el lado defensivo, podemos esperar ver que la IA desempeñe un papel crucial en la detección y respuesta de amenazas, y ayude a los analistas de seguridad a automatizar y filtrar grandes conjuntos de datos para identificar amenazas potenciales".

Como anticipa Kovacs, los piratas informáticos continuarán utilizando LLM y pensarán en formas innovadoras de infiltrarse en las organizaciones y romper las reglas de seguridad. Por lo tanto, los equipos de seguridad deben mantenerse a la vanguardia. Al combinar la inteligencia humana con las capacidades de la IA, los equipos rojo y azul pueden ayudar a minimizar el impacto de los ciberataques.