Amazon Q empieza a 'alucinar' y a filtrar datos confidenciales

Apenas una semana después de su lanzamiento, la supervivencia de Amazon Q, el competidor de AWS Copilot, se ve amenazada por un nuevo informe que sugiere que el asistente de IA generativa podría estar 'alucinando'. 

Q está lidiando con imprecisiones y problemas de privacidad, incluyendo alucinaciones y fugas de datos, según informa The Platformer, citando documentos filtrados. El informe llega después de que dos importantes estudios hayan demostrado que los grandes modelos lingüísticos (LLM) son muy imprecisos cuando se conectan a bases de datos corporativas y son cada vez menos transparentes.

Sin embargo, según un portavoz de Amazon, Amazon Q no ha filtrado ninguna información confidencial. "Algunos empleados están compartiendo sus comentarios a través de canales internos y sistemas de tickets, lo cual es una práctica habitual en Amazon. No se ha identificado ningún problema de seguridad como resultado de esos comentarios. Agradecemos todos los comentarios que hemos recibido y seguiremos ajustando Q a medida que pase de ser un producto en fase de vista previa a estar disponible de forma general", afirma el portavoz. 

A pesar de las elevadas pretensiones de Amazon de ser un compañero de trabajo para millones y millones de personas, Amazon Q podría no estar listo para su uso corporativo, según los analistas que siguen el sector. "Si hay alucinaciones, no se puede utilizar para la toma de decisiones en un entorno corporativo", según Pareekh Jain, CEO de EIIRTrend & Pareekh Consulting. "Está bien para uso personal o para obtener información, pero no para procesos de toma de decisiones".

Se necesitan más pruebas

Es posible que Amazon se enfrente a importantes retos en materia de pruebas antes de que su asistente de IA generativa esté listo para su lanzamiento comercial. Jain hace hincapié en la importancia de llevar a cabo extensas pruebas internas para garantizar la preparación.

"Primero es necesario hacer más pruebas con empleados internos", agrega. "Obviamente, eso es lo que están haciendo ahora. Al fin y al cabo, ninguna fuente externa ha informado de estos problemas. Aquí hay dos cosas: una son los datos y la otra son los algoritmos. Tienen que ver si es un problema con los datos o con el algoritmo".

Q aprovecha los 17 años de experiencia de AWS en datos y desarrollo y está diseñado para funcionar como una herramienta versátil para las empresas. Dada la dirección de la industria, Amazon se juega mucho con esta oferta de IA.

Aunque las alucinaciones no socavan el potencial de la IA generativa para los casos de uso de consumidores y empresas, es esencial una formación adecuada, según Sharath Srinivasamurthy, vicepresidente asociado de la firma de investigación de mercado IDC.

"Entrenar los modelos con datos de mejor calidad, aumentar las indicaciones (guiar a los usuarios con indicaciones predefinidas que el modelo pueda entender fácilmente), perfeccionar continuamente los modelos con datos y políticas específicos de la organización o el sector y aumentar una capa de control humano en caso de que la respuesta sea sospechosa son algunos de los pasos que hay que dar para aprovechar al máximo esta tecnología emergente", afirma Srinivasamurthy.

¿Será urgente regular las alucinaciones?

Los informes sobre alucinaciones suscitan inquietud sobre la necesidad de regular y la severidad de las normas que podrían entrar en vigor en algún momento. Sin embargo, Sanchit Vir Gogia, analista jefe y consejero delegado de Greyhound Research, señala que cualquier normativa resultante puede ser contraproducente.

"Cualquier regulación puede, de hecho, ralentizar el intercambio y la utilización de datos", afirma. "Así que, por ahora, cuanto menos regulado esté este sector, mejor. Esto permite un uso más fácil y fluido de los datos". Tomemos como ejemplo el GPT de OpenAI: si hubiera límites estrictos sobre los datos que se pueden capturar, no habría despegado".

Jain también sugiere que establecer límites externos puede no ser una idea factible, pero las propias empresas pueden hacer un mayor esfuerzo. "Puede que existan normativas, pero la atención se centra sobre todo en la autorregulación", explica Jain. "Aunque los reglamentos y las directrices son necesarios, hay un límite a la medida en que se puede aplicar la auditoría. El énfasis debe ponerse en una IA responsable, cuya lógica pueda explicarse a los clientes en lugar de crear sistemas de "caja negra". Sin embargo, hay un umbral a partir del cual, en mi opinión, la responsabilidad se desplaza más hacia cómo las empresas perciben y aplican estas medidas como una cuestión de seguridad".

Todos los ojos puestos en Amazon

Aunque estas ideas arrojan luz sobre la necesidad de realizar pruebas internas más sólidas y una inclinación hacia la autorregulación, el camino hacia el despliegue de la IA en entornos empresariales está plagado de complejidades. Amazon tiene ahora la responsabilidad de superar estos retos, sobre todo por su tardía entrada en este segmento.

"AWS está algo rezagada en este espacio, con Microsoft y Google actualmente a la cabeza", recuerda Jain. "Por lo tanto, la gente tiene mayores expectativas, sobre todo en lo que respecta a los chatbots y otras tecnologías relacionadas".