Nuestra última investigación sobre los retos asociados a losmodelosde IA maliciosos se ha publicado en la revista Communications of the ACM, con el título “Malicious AI Models Undermine Software Supply-ChainSecurity”.Esta investigación se llevó a cabo en colaboración con la Dra. Sherali Zedally, profesora de la Universidad de Kentucky.
La creciente integración de modelos de Inteligencia Artificial (IA) en los conductos de desarrollo y despliegue de software introduce una amenaza novedosa y potente para la seguridad de la cadena de suministro de software. A diferencia del malware tradicional incrustado en el código, los modelos de IA maliciosos pueden alterar sutilmente el comportamiento, influir en las decisiones o exfiltrar datos desde dentro de los sistemas donde se espera que realicen funciones legítimas. Esta capacidad única permite a los atacantes comprometer el software a un nivel más profundo e insidioso, aprovechando la complejidad inherente del modelo y su poder predictivo con fines nefastos, a menudo sin activar las alarmas de seguridad convencionales.
Los principales vectores para introducir estos modelos de IA comprometidos son las herramientas de desarrollo contaminadas, las bibliotecas modificadas maliciosamente o los modelos preentrenados procedentes de repositorios no fiables. Una vez integrados, estos modelos pueden actuar como caballos de Troya, ejecutando código no autorizado, exfiltrando datos sensibles, manipulando la integridad de los datos o permitiendo el acceso no autorizado a
sistemas críticos. El artículo destaca un modelo de flujo de ataque, desglosando cómo las cargas útiles sofisticadas pueden moverse a través de la cadena de suministro para lograr sus objetivos maliciosos, planteando un desafío significativo a la postura general de ciberseguridad de una organización.
Detectar y mitigar estas amenazas es especialmente difícil debido a la opacidad y complejidad inherentes a los modelos de IA. Su naturaleza de “caja negra” a menudo hace difícil determinar si un modelo se está comportando de forma maliciosa o simplemente funciona según lo diseñado, especialmente cuando la carga maliciosa es sutil o está diseñada para activarse en condiciones específicas y poco frecuentes. Además, las defensas de seguridad tradicionales basadas en firmas están mal equipadas para identificar estos novedosos ataques impulsados por el comportamiento, ya que no se basan en firmas de código estáticas ni en patrones fácilmente identificables. Esta limitación hace necesario un cambio fundamental en la forma en que las organizaciones abordan la seguridad de la cadena de suministro de software para tener en cuenta a estos adversarios inteligentes y adaptables.
Para hacer frente a estos riesgos crecientes, las organizaciones deben aplicar una estrategia de defensa de varios niveles. Entre las recomendaciones clave se incluyen el examen riguroso y la obtención de modelos de IA sólo de repositorios de confianza, el empleo de la validación criptográfica para garantizar la integridad de los modelos y el mantenimiento de un acceso estricto y controlado a los activos de IA de terceros. Además, la utilización de formatos de serialización de modelos seguros y el aislamiento de los modelos de IA dentro de entornos de ejecución aislados son pasos cruciales para contener las amenazas potenciales. El mensaje general hace hincapié en la necesidad crítica de una vigilancia continua, medidas de seguridad proactivas y un profundo conocimiento de las características únicas de las cargas útiles de los ataques impulsados por IA para fomentar la detección, prevención y mitigación eficaces de las amenazas en este panorama de amenazas en evolución.
La revista completa está disponible aquí.