ChatGPT puede permitir a los atacantes mejorar sus estafas significativamente

Un grupo de investigadores de seguridad de WithSecure ha mostrado cómo el lenguaje natural GPT-3, en el que se basa la inteligencia artificial (IA) tan popular estos días ChatGPT, se puede usar para hacer que los ataques de ingeniería social, como phishing o estafas de compromiso de correo electrónico (BEC; de sus siglas inglesas), sean más difíciles de detectar. El estudio demuestra que los atacantes no solo pueden generar variaciones únicas de un mismo señuelo con un texto escrito gramaticalmente correcto y similar al humano, sino que también pueden construir cadenas de correo electrónico completas para ser más convincentes. E incluso pueden generar mensajes utilizando el estilo de escritura de personas reales en función de muestras proporcionadas de sus comunicaciones.

“La generación de texto versátil en lenguaje natural interesará a los ciberdelincuentes”, reza el documento. “Del mismo modo, cualquier persona que use Internet para difundir estafas, noticias falsas u otro tipo de información errónea puede estar interesada en esta herramienta, que funciona a velocidades sobrehumanas”.

¿Qué es GPT-3?

GPT-3 es un modelo de lenguaje autorregresivo que utiliza el aprendizaje profundo para generar respuestas similares a las humanas basadas en entradas mucho más pequeñas conocidas como indicaciones. Estas indicaciones pueden ser simples, como una pregunta o una instrucción para escribir algo sobre un tema, pero también pueden ser mucho más detalladas, lo que le da al modelo más contexto sobre cómo debe producir una respuesta. El arte de elaborar avisos tan refinados para lograr respuestas muy específicas y de alta calidad se conoce como ingeniería de avisos.

Fue desarrollado originalmente en 2020 por investigadores del laboratorio de investigación de inteligencia artificial OpenAI. El acceso a él a través de una API solo estuvo más disponible en 2021, pero el uso generalizado aún estaba restringido. Eso cambió a fines de noviembre con el lanzamiento de ChatGPT, un chatbot público basado en GPT-3.5 que usó mejoras como el aprendizaje supervisado y el aprendizaje por refuerzo.

Generación de mensajes de phishing con GPT-3

Los investigadores de WithSecure comenzaron su investigación un mes antes de que se lanzara ChatGPT utilizando lex.page, un procesador de textos en línea con funcionalidad GPT-3 incorporada para autocompletar y otras funciones. Su estudio continuó después de que se lanzó el chatbot, incluidos los intentos rápidos de ingeniería para eludir los filtros y las restricciones que implementó OpenAI para limitar la generación de contenido dañino.

Un uso obvio de una herramienta de este tipo puede ser la facilidad con la que los atacantes pueden generar mensajes de phishing sin tener que emplear escritores que sepan inglés, pero va mucho más allá. En los ataques masivos de phishing, pero incluso en los más dirigidos donde el número de víctimas es menor, el texto o señuelo en el correo electrónico suele ser idéntico. Esto facilita que los proveedores de seguridad e incluso los filtros automatizados creen reglas de detección basadas en el texto. Debido a esto, los atacantes saben que tienen un tiempo limitado para atrapar a las víctimas antes de que sus correos electrónicos se marquen como spam o malware y se bloqueen o eliminen de las bandejas de entrada. Sin embargo, con herramientas como ChatGPT, pueden escribir un aviso y generar variantes únicas ilimitadas del mismo mensaje de señuelo e incluso automatizarlo para que cada correo electrónico de phishing sea único.

Cuanto más complejo y largo sea un mensaje de phishing, más probable es que los atacantes cometan errores gramaticales o incluyan frases extrañas que los lectores cuidadosos detectarán y sospecharán. Con los mensajes generados por ChatGPT, esta línea de defensa que se basa en la observación del usuario se derrota fácilmente al menos en lo que se refiere a la corrección del texto.

Detectar que un mensaje fue escrito por un modelo de IA no es imposible y los investigadores ya están trabajando en este tipo de herramientas. Si bien estos pueden funcionar con los modelos actuales y ser útiles en algunos escenarios, como escuelas que detectan ensayos generados por IA enviados por estudiantes, es difícil ver cómo se pueden aplicar para el filtrado de correo electrónico porque las personas ya están usando dichos modelos para escribir correos electrónicos comerciales y simplificar su trabajo.

"El problema es que la gente probablemente usará estos grandes modelos de lenguaje para escribir contenido benigno también", dice Andy Patel, investigador de WithSecure Intelligence, a CSO. "Entonces, no puede detectar. No puede decir que algo escrito por GPT-3 es un correo electrónico de phishing, ¿verdad? Solo puede decir que este es un correo electrónico escrito por GPT-3. Entonces, al introducir la detección métodos para el contenido escrito generado por IA, en realidad no está resolviendo el problema de atrapar correos electrónicos de phishing".

Es probable que los modelos de lenguaje natural de GPT mejoren mucho

Patel cree que esto probablemente sea solo el comienzo. Es probable que el modelo GPT-4 ya esté en desarrollo y capacitación, y hará que GPT-3 parezca primitivo, al igual que GPT-3 fue un gran avance sobre GPT-2. Si bien la API para GPT-4 puede tardar algún tiempo en estar disponible públicamente, es probable que los investigadores ya estén tratando de replicar los pesos del modelo en una forma de código abierto. Los pesos son el resultado de entrenar un modelo de aprendizaje automático de este tipo en lo que probablemente sean exabytes de datos, una tarea que requiere mucho tiempo y es muy costosa. Una vez que se completa el entrenamiento, los pesos son los que permiten que el modelo se ejecute y produzca resultados.

"Para ejecutar realmente el modelo, si tuviera esos pesos, necesitaría un conjunto decente de instancias en la nube, y es por eso que esas cosas están detrás de una API. Lo que predecimos es que en algún momento podrá ejecutarlo en su computadora portátil. No en el futuro cercano, obviamente. No en el próximo año o dos, pero se trabajará para hacer esos modelos más pequeños. Y creo que, obviamente, hay un gran negocio impulsor para que podamos ejecutar esos modelos en el teléfono