ChatGPT usado para el mal, la distopía que debemos frenar

El CEO de Open AI, Sam Altman, responsable de la creación de ChatGPT, ha comparecido el pasado martes día 16 de mayo ente el Congreso de los Estados Unidos y, en vez de tranquilizarnos, ha puesto todavía más nervioso a medio planeta. Altman ha dicho sin despeinarse que va a ser necesaria, urgente y crucial “la intervención regulatoria de los Gobiernos para mitigar los riesgos de la Inteligencia Artificial (IA)". Cree el CEO que tanto su invento como la tecnología IA, en general, debe ser regulada de manera global, y no individualmente en cada país, y se mostró con sinceridad muy preocupado por la influencia de esta tecnología en las elecciones democráticas. Le preocupa el daño involuntario que el sistema puede producir al mundo.

Esa preocupación por los efectos nocivos de la utilización de la IA ya ha calado en la sociedad. Justo cuando se luchaba a brazo partido contra todo tipo de inseguridades, vulnerabilidades y ciberataques posibles a través de las TI, con ataques que salen del cerebro humano de los ciberdelincuentes, llega tecnología de IA como ChatGPT para dotar de creatividad y eficacia a los malvados de la red, tal y como explica el primer informe sobre el tema de Europol. Y uno de sus creadores no se muerde la lengua a la hora de reconocer que su IA, su producto, la aplicación que más rápidamente está creciendo y extendiéndose por el mundo virtual adelante, puede ser muy peligrosa.

Phishing, fake news y código malicioso

Preguntamos a nuestro Instituto Nacional de Ciberseguridad (INCIBE), porque seguro que ya ha visto las orejas al lobo y puede alertar de cuáles pueden ser los riesgos en ciberseguridad de ChatGPT. En efecto, la institución ya ha apuntado alguno, incluso con pruebas prácticas: “Algunos usuarios malintencionados podrían usar esta tecnología con fines delictivos. Existen varios vectores de ataque que los ciberdelincuentes pueden aprovechar para explotar vulnerabilidades y atacar a posibles víctimas”, dice el Instituto, que señala la posibilidad de crear mensajes fraudulentos para utilizarlos en ataques de phishing o spear phishing: “Un ciberdelincuente podría ayudarse de ChatGPT para desarrollar un correo electrónico o mensaje en el que se suplante la identidad de otra persona o empresa para engañar a las posibles víctimas”.

“También podría ser utilizado para redactar fake news —afirman en INCIBE—. De esta forma, la tecnología de ChatGPT podría utilizarse de forma malintencionada con el objetivo de manipular a la opinión pública”. Y lo que más inquieta es que esta IA es capaz de generar código “en diferentes lenguajes de programación. Los ciberdelincuentes pueden usarlo para crear software maliciosos y desarrollar scripts de todo tipo, eludiendo las restricciones existentes”.

INCIBE sigue desarrollando e investigando sobre ChatGPT y los efectos de su utilización en la ciberseguridad, pero ya advierten y recomiendan asegurarse de que cualquier información proceda de una fuente fiable, evitar proporcionar datos personales o contraseñas a ChatGPT o a cualquier otro chatbot, que las empresas conciencien a sus empleados de los riesgos existentes, y mantienen la esperanza de que ChatGPT-4 mitigará estos riesgos, porque evitará respuestas a solicitudes mal intencionadas.

Por supuesto, hacen una mención especial a lo muy afectado que se va a ver con esta herramienta el sector educativo, “donde brilla la picaresca de los alumnos y podemos imaginar el uso que harían de esta tecnología”. Según Gatner, las respuestas inventadas o inexactas es el primero de los riesgos que plantea la herramienta.

ChatGPT sabe mentir, o se puede utilizar para hacer mentiras perfectas o casi imperceptibles. Así lo ve el director de investigación y concienciación de ESET en España, Josep Albors, que al igual que INCIBE, advierte de la difusión de información falsa y la generación de código malicioso, así como plantillas usadas en campañas de phishing. “Conforme evolucione esta tecnología, se espera que las manipulaciones sean cada vez más convincentes”, incide.

Así que la herramienta es perfectamente capaz de crear  mensajes fraudulentos que suplantan la identidad de personas y empresas, imágenes generadas por IA que den lugar a fake news y código malicioso programado por este tipo de IA que baje aún más el nivel de entrada requerido a los ciberdelincuentes, según Albors: “Supone un riesgo porque los delincuentes podrían generar sus propias amenazas sin muchos conocimientos de programación”, se teme.

“También es peligroso que se confíe ciegamente en el código generado para uso legítimo. Con las versiones actuales, este código presenta errores que requieren una revisión previa antes de entrar en producción”. El experto de ESET sostiene que incorporando mecanismos de análisis de comportamiento y aprendizaje automático se podría luchar contra las vulnerabilidades que se puedan crear con ChatGPT, y que aplicando revisiones constantes se podría bloquear su uso fraudulento.

Privacidad, confidencialidad y derechos de autor

La consultora Gatner también le ha dado una vuelta a los modelos LLM (modelos de lenguaje de gran tamaño) y junto a los riegos ya apuntados, señala que “cualquier información ingresada en ChatGPT, si el historial de chat no está deshabilitado, puede convertirse en parte de su conjunto de datos de capacitación. La información delicada, patentada o confidencial que se usa en las indicaciones puede incorporarse en las respuestas para los usuarios fuera de la empresa”, tal y como indica su analista Ron Friedmann.

Según él, además ChatGPT se nutre de gran cantidad de datos de internet que incluyen material con derechos de autor, por lo que sus respuestas o creaciones pueden violar estos derechos y vulnerar la propiedad intelectual. “La herramienta no ofrece referencias de fuentes ni explicaciones sobre cómo se genera su salida. Los responsables legales y de cumplimiento deben estar atentos a cualquier cambio en la ley de derechos de autor que se aplique a la lo creado con ChatGPT y exigir a los usuarios que analicen cada respuesta para no infringir estos derechos”.

Usar la máquina para el mal; sesgo, prejuicio y discriminación

Para Josep Albors, existe una posibilidad real de que esta IA se convierta en la mayor fuente de desconocimiento y desinformación hasta ahora conocida, “porque la forma en la que se representa la información resulta bastante convincente y los usuarios pueden creerla a pies juntillas sin contrastar la información”. Aunque se está tratando de detectar la desinformación y de promover el uso ético de la plataforma, “solo los usuarios, el pensamiento crítico y el uso de fuentes fiables evitaremos una distopía de desinformación generalizada”.

Pero si hay un peligro aterrador de las capacidades de ChatGPT es su potencial para incorporar ciertos sesgos o prejuicios ya presentes en las fuentes de datos usados como entrenamiento. “Hay que abordar este aspecto lo antes posible, porque esto puede generar respuestas e información discriminatorios hacia etnias, religiones o géneros, y hay que asegurar la imparcialidad y equidad en la generación de contenido de estos modelos de lenguaje de gran tamaño”, dice Albors.

Identidad, autenticación e ingeniería social, amenazadas

El experto y divulgador en ciberseguridad Román Ramírez, fundador del prestigioso congreso RootedCON, apunta otros aspectos y vectores de riesgo de ChatGPT. “Entre otros muchos, están los problemas relacionados con la autenticidad de la identidad de las personas. Audio, vídeo, texto... Los procesos de autenticación e identidad ahora mismo se enfrentan a una amenaza severa. Se pueden generar imágenes, audios o, incluso, documentos de identidad falsos y perfectamente válidos de acuerdo con los estándares existentes”.

Ramírez advierte que con estas herramientas de IA se está viviendo un cambio extremo “en todas las formas de hacer cosas; en todos los procesos realizados por humanos. Vamos a ver motores de ataque automático. Todo lo que tenga que ver con ingeniería social  va a sufrir una subida de nivel”. Inquieta, y mucho, su visión de la capacidad de estas máquinas para crear mensajes de engaño, que claramente van ser mucho más efectivos, combinados con vídeo y audio perfectamente creíbles: “Van a pretender ser uno de nuestros seres queridos con su voz y su cara en conversaciones interactivas”, augura, y añade que veremos un auge en las herramientas de ofensivas, gracias a la automatización, es decir, a la capacidad de ChatGPT para la fabricación masiva barata.

“Ahora mismo OpenAI ha colocado restricciones para prevenir abusos. Pero puedo confirmar en primera persona que se podía generar código malicioso y scripts de todo tipo —reconoce Román Ramírez—. El problema no es ChatGPT, sino lo fácil y barato que es montar nuestro propio LLM que se centre en un interés concreto (por ejemplo la creación de ataques). Esto ya no tiene vuelta atrás y cualquiera puede aprender a hacerlo, incluidos los cibercriminales, claro”. Como experto duda de que podamos frenar estas capacidades maliciosas, “lo que sí podemos es centrarnos en añadir a nuestras capacidades defensivas las IA. Todo el que no trabaje en ello, quedará fuera de juego en pocos años. Ya no podemos responder con capacidades humanas a las capacidades 'sobrenaturales'".

Contramedidas: analizar, gestionar, minimizar y mitigar

En Microsoft son conscientes de todos estos retos de las IA generativas y los LLM pero no contemplan el desánimo. Carlos Manchado, responsable de Ciberseguridad de Microsoft España lo describe así: "Somos optimistas sobre el futuro de la IA y creemos que sus avances resolverán muchos más desafíos de los que presentan. Los humanos deben estar al tanto cuando se crean tecnologías que pueden cambiar el mundo, y asegurarse de que se usa de manera responsable”.  Su herramienta IA, Microsoft Azure OpenAI Services, ofrecida como servicio (PaaS), “explota en exclusiva los modelos de OpenAI (GPT-X, DALL-E…), a través de una instancia desplegada en la infraestructura cloud del cliente, lo que asegura la privacidad de sus datos y que nunca se utilizarán para entrenar el modelo base, además de dotarlo de los controles de seguridad de Azure (segmentación de red, RBAC, monitorización, custodia segura de claves…)”, explica para tranquilizar.

Microsoft lleva trabajando más de siete años en un estándar interno de IA Responsable, que incluye “Principios, Objetivos, Requisitos, Herramientas y Prácticas”, que comparte con los clientes. Reconocen por su experiencia que “hay ciertos riesgos intrínsecos a estos modelos (IA generativa como ChatGPT) que son públicos y han sido analizados por los propios desarrolladores”, por eso insisten en que estos riesgos, una vez identificados, “deben analizarse y gestionarse, tratando de mitigarlos en medida de lo posible, para lo cual contamos con diferentes técnicas y mecanismos (mensaje del sistema, grounding, formación en prompt engineering, moderación y blacklisting a nivel de aplicación, entre otros)”.

Destacan los riesgos de ChatGPT ya nombrados, como los mensajes falsos; “Las deepfakes en IA suponen una amenaza emergente en toda la industria. —señala Manchado— No existe una forma única de abordarlas, pero dada la velocidad vertiginosa a la que fluye el contenido audiovisual a través de Internet, necesitamos monitorizar las deepfakes desde diferentes ángulos”. Explica que una manera es duplicar el apoyo al periodismo, los informes ciudadanos y “crear conciencia entre el público sobre la creciente sofisticación de las campañas de influencia cibernética”, como ya tratan de hacer con su Projet Origin, con el que cooperan con BBC, CBC Radio Canada y New York Times  en desarrollo de soluciones de contenido digital, verificación multifactor  y herramientas para detectar procedencia de audio y vídeo. El proyecto está creciendo con socios como Facebook y notorias entidades académicas.

Carlos Manchado insiste, por tanto, en que existen contramedidas para minimizar o mitigar los riesgos de usos maliciosos. “Podemos resaltar ingeniería inversa de código, identificación de vulnerabilidades en el código, threat hunting, informe y redacción de incidentes, recomendaciones de seguridad, guías de codificación segura y de bastionado, generación de políticas, perfilado de usuarios, identificación de mensajes maliciosos… las opciones son innumerables y debemos aprovecharlas”, nos dice. También en materia de ciberseguridad, “la IA puede eficientar y optimizar el trabajo de los equipos de ciberdefensa, incluyendo protección, detección, respuesta, así como reporte y capacitación”, y señala su Security Copilot como ejemplo.

La cara de la cruz: las oportunidades para la ciberseguridad

Manchado es realista y tira de historia y experiencia colectiva para explicar lo que nos está pasando con ChatGPT: “Como con cualquier otra tecnología anterior, algunas personas, comunidades y países creen que la IA se convertirá tanto en una herramienta como en un arma. Debemos centrarnos en la oportunidad que estos modelos generativos también ofrecen para reimaginar nuestras vidas digitales de forma más segura”. Según razona este experto de Microsoft, “el mayor temor no es la tecnología en sí misma, sino que su vertiginoso potencial se interponga en nuestro camino, para estar a la altura de las circunstancias y aprovechar la oportunidad única que nos ofrece a la hora de dar forma a nuestro futuro colectivo”.

En efecto, las IA generativas como Microsoft Azure OpenAI Services o la misma ChatGPT pueden ser grandes tutoras para el aprendizaje de materias relacionadas con el manejo de las TI, y pueden ayudar “a cerrar la brecha digital existente actualmente, incluyendo la concienciación en ciberseguridad”, apunta Joseps Albors con una visión positiva.

También desdeña la visión distópica de este tipo de IA el fundador de RootedCON. Para Román Ramírez, “cada vez que un cambio irrumpe en la sociedad se da una reacción de miedo y de visión apocalíptica. Es una reacción muy humana y muy poco fundada, dado que los hechos demuestran que siempre hemos ido a mejor. Crearemos herramientas de defensa con IA. Es un hecho”. Para él, ChatGPT y sus homólogas nos ofrecen la oportunidad de mejorar en materia de seguridad en el manejo de las TI. “Ese es el camino lógico y donde debemos centrarnos y no en el antropocentrismo y el pánico”.