我们关于恶意人工智能模型相关挑战的最新研究发表在《ACM 通信》杂志上，题为 “恶意人工智能模型破坏软件供应链安全”。这项研究是与肯塔基大学教授Sherali Zedally 博士合作进行的。
人工智能（AI）模型越来越多地集成到软件开发和部署管道中，给软件供应链安全带来了一种新颖而强大的威胁。与嵌入代码的传统恶意软件不同，恶意的人工智能模型可以巧妙地改变行为、影响决策，或从系统中窃取数据，而它们本应在系统中执行合法功能。这种独特的能力使攻击者能够在更深层次、更隐蔽的层面上破坏软件，利用模型固有的复杂性和预测能力达到邪恶目的，而且往往不会触发传统的安全警报。
引入这些被破坏的人工智能模型的主要途径是被污染的开发工具、被恶意修改的库或来自不可信存储库的预训练模型。一旦集成，这些模型就会像特洛伊木马一样，执行未经授权的代码、外泄敏感数据、篡改数据完整性，或使未经授权的访问成为可能。
关键系统。文章重点介绍了一个攻击流模型，分解了复杂的有效载荷如何通过供应链实现其恶意目标，从而对组织的整体网络安全态势构成重大挑战。
由于人工智能模型固有的不透明性和复杂性，检测和缓解此类威胁尤其具有挑战性。人工智能模型的 “黑盒 “特性往往使其难以确定模型是在恶意行为还是只是按设计执行，尤其是当恶意有效载荷很微妙或被设计为在特定的罕见条件下激活时。此外，传统的基于签名的安全防御不依赖于静态代码签名或易于识别的模式，因此无法识别这些新颖的行为驱动型攻击。由于这种局限性，企业必须从根本上改变软件供应链安全的方法，以应对这些智能化和适应性强的对手。
为了应对这些日益增长的风险，企业必须实施多层次的防御策略。主要建议包括：严格审查人工智能模型并仅从可信的存储库中采购；采用加密验证以确保模型的完整性；对第三方人工智能资产保持严格受控的访问权限。此外，在隔离的执行环境中使用安全的模型序列化格式和沙盒人工智能模型也是遏制潜在威胁的关键步骤。总体信息强调了持续警惕、主动安全措施和深入了解人工智能驱动的攻击有效载荷的独特特征的关键需求，以便在不断变化的威胁环境中促进有效的威胁检测、预防和缓解。
完整的杂志可在此处获取。