Nos dernières recherches sur les défis associés aux modèles d’IA malveillants ont été publiées dans le magazine Communications of the ACM, sous le titre « Malicious AI Models Undermine Software Supply-Chain Security » (Les modèles d’IA malveillants compromettent la sécurité de la chaîne d’approvisionnement des logiciels). Cette recherche a été menée en collaboration avec Sherali Zedally, professeur à l’université du Kentucky.
L’intégration croissante de modèles d’intelligence artificielle (IA) dans les processus de développement et de déploiement de logiciels constitue une menace nouvelle et puissante pour la sécurité de la chaîne d’approvisionnement en logiciels. Contrairement aux logiciels malveillants traditionnels intégrés au code, les modèles d’IA malveillants peuvent subtilement modifier le comportement, influencer les décisions ou exfiltrer des données à l’intérieur des systèmes où ils sont censés remplir des fonctions légitimes. Cette capacité unique permet aux attaquants de compromettre les logiciels à un niveau plus profond et plus insidieux, en tirant parti de la complexité inhérente au modèle et de son pouvoir prédictif à des fins malveillantes, souvent sans déclencher les alarmes de sécurité conventionnelles.
Les principaux vecteurs d’introduction de ces modèles d’IA compromis sont les outils de développement viciés, les bibliothèques malicieusement modifiées ou les modèles pré-entraînés provenant de référentiels non fiables. Une fois intégrés, ces modèles peuvent agir comme des chevaux de Troie, en exécutant du code non autorisé, en exfiltrant des données sensibles, en manipulant l’intégrité des données ou en permettant un accès non autorisé à l’information.
systèmes critiques. L’article met en évidence un modèle de flux d’attaque, décomposant la façon dont les charges utiles sophistiquées peuvent se déplacer dans la chaîne d’approvisionnement pour atteindre leurs objectifs malveillants, posant un défi important à la posture globale de cybersécurité d’une organisation.
La détection et l’atténuation de ces menaces sont particulièrement difficiles en raison de l’opacité et de la complexité inhérentes aux modèles d’IA. Leur nature de « boîte noire » fait qu’il est souvent difficile de déterminer si un modèle se comporte de manière malveillante ou s’il fonctionne simplement comme prévu, en particulier lorsque la charge utile malveillante est subtile ou conçue pour s’activer dans des conditions spécifiques et rares. En outre, les défenses de sécurité traditionnelles basées sur les signatures sont mal équipées pour identifier ces nouvelles attaques basées sur le comportement, car elles ne reposent pas sur des signatures de code statiques ou des modèles facilement identifiables. Cette limitation nécessite un changement fondamental dans la manière dont les organisations abordent la sécurité de la chaîne d’approvisionnement en logiciels afin de tenir compte de ces adversaires intelligents et adaptatifs.
Pour faire face à ces risques croissants, les entreprises doivent mettre en œuvre une stratégie de défense à plusieurs niveaux. Parmi les principales recommandations, citons le contrôle rigoureux et l’approvisionnement en modèles d’IA uniquement à partir de référentiels fiables, l’utilisation de la validation cryptographique pour garantir l’intégrité des modèles et le maintien d’un accès strict et contrôlé aux ressources d’IA tierces. En outre, l’utilisation de formats de sérialisation de modèles sécurisés et la mise en bac à sable des modèles d’IA dans des environnements d’exécution isolés sont des étapes cruciales pour contenir les menaces potentielles. Le message général souligne le besoin critique d’une vigilance continue, de mesures de sécurité proactives et d’une compréhension approfondie des caractéristiques uniques des charges utiles d’attaque pilotées par l’IA pour favoriser une détection, une prévention et une atténuation efficaces des menaces dans ce paysage de menaces en constante évolution.
Le magazine complet est disponible ici.