Meta lanza herramientas de código abierto para la seguridad de la inteligencia artificial
El proyecto Purple Llama tiene como objetivo ayudar a los desarrolladores a crear modelos generativos de IA de forma responsable.
Meta ha presentado Purple Llama, un proyecto dedicado a crear herramientas de código abierto para que los desarrolladores evalúen y aumenten la confiabilidad y seguridad de los modelos de inteligencia artificial (IA) generativa antes de que se utilicen públicamente. La compañía ha enfatizado la necesidad de realizar esfuerzos de colaboración para garantizar la seguridad de la IA y afirma que sus desafíos no se pueden abordar de forma aislada. El objetivo de esta estrategia es establecer una base compartida para desarrollar una IA generativa más segura a medida que aumentan las preocupaciones sobre los modelos de lenguaje grandes y otras tecnologías.
“Las personas que construyen sistemas de IA no pueden abordar los retos en el vacío, por lo que queremos nivelar el campo de juego y crear un centro de masas para la confianza y la seguridad abiertas”, escribió la multinacional en un blog. Gareth Lindahl-Wise, director de seguridad de la información de Ontinue, ha calificado a Purple Llama “como un paso positivo y proactivo” hacia una IA más segura.
“Sin duda, habrá algunas afirmaciones de virtudes o motivos ocultos al reunir el desarrollo en una plataforma, pero en realidad, una mejor protección a nivel del consumidor ‘lista para usar’ será beneficios”, añade. “Las entidades con estrictas obligaciones internas, de clientes o regulatorias, por supuesto, aún necesitarán seguir evaluaciones sólidas, sin duda más allá de la oferta de Meta, pero cualquier cosa que pueda ayudar a reinar en el potencial ‘Salvaje Oeste’ es bueno para el ecosistema”.
El proyecto implicaciones asociaciones con desarrolladores de IA; servicios en la nube como AWS y Google Cloud; empresas de semiconductores como Intel, AMD y Nvidia; y firmas de software, incluida Microsoft. La colaboración quiere producir herramientas tanto para investigación como para uso comercial para probar las capacidades de los modelos de IA e identificar riesgos de seguridad.
El primer conjunto de herramientas lanzado a través de Purple Llama incluye CyberSecEval, que evalúa los riesgos en el software generado por IA. Cuenta con un modelo de lenguaje que identifica texto inapropiado o dañino, incluidas discusiones sobre violencia o actividades ilegales. Los desarrolladores pueden utilizar la solución para probar si sus modelos de IA son propensos a crear código inseguro o contribuir a ciberataques. La investigación de Meta ha descubierto que los modelos de lenguaje grandes a menudo sugieren código vulnerable, lo que destaca la importancia de las pruebas y mejoras continuas para la seguridad de la IA.
Llama Guard es otra herramienta de esta suite, entrenada para identificar lenguaje potencialmente dañino u ofensivo. Se puede utilizar para probar si sus modelos producen o aceptan contenido inseguro, lo que ayuda a filtrar mensajes que podrían generar resultados inapropiados.
