悪意のあるAIモデルに関連する課題に関する当社の最新の研究が、「Malicious AI Models Undermine Software Supply-Chain Security」と題してCommunications of the ACM誌に掲載されました。この研究は、ケンタッキー大学のシェラリ・ゼダリー教授との共同研究です。
人工知能（AI）モデルのソフトウェア開発および導入パイプラインへの統合が進むにつれ、ソフトウェア・サプライ・チェーンのセキュリティに新たな脅威がもたらされています。コードに埋め込まれた従来のマルウェアとは異なり、悪意のあるAIモデルは、挙動を微妙に変化させたり、意思決定に影響を与えたり、正当な機能を実行することが期待されるシステム内からデータを流出させたりすることができます。このユニークな機能により、攻撃者は、より深く狡猾なレベルでソフトウェアを侵害し、モデル固有の複雑性と予測力を悪意のある目的のために活用することができます。
このような危険なAIモデルを導入する主なベクターは、汚染された開発ツール、悪意を持って修正されたライブラリ、または信頼できないリポジトリから調達された事前訓練されたモデルです。これらのモデルが統合されると、トロイの木馬のように動作し、不正なコードを実行したり、機密データを流出させたり、データの整合性を操作したり、不正アクセスを可能にしたりします。
重要なシステムこの記事では、高度なペイロードが悪意のある目的を達成するためにサプライチェーンを通じてどのように移動し、組織の全体的なサイバーセキュリティ態勢に重大な課題をもたらすかを分解した攻撃フローモデルを紹介しています。
このような脅威の検出と軽減は、AIモデル特有の不透明さと複雑さのため、特に困難です。特に、悪意のあるペイロードが微妙であったり、特定の稀な条件下で作動するように設計されていたりする場合、その「ブラックボックス」的な性質により、モデルが悪意を持って動作しているのか、それとも単に設計通りに動作しているのかを確認することが難しくなります。さらに、従来のシグネチャベースのセキュリティ防御は、静的なコード・シグネチャや容易に識別可能なパターンに依存しないため、このような新しい振る舞い主導型の攻撃を識別するのに適していません。この限界により、組織がソフトウェア・サプライチェーンのセキュリティに取り組む方法を根本的に転換し、このようなインテリジェントで適応力のある敵対者に対応する必要があります。
このようなリスクの増大に対処するために、企業は多層的な防御戦略を実施する必要があります。主な推奨事項には、信頼できるリポジトリからのみAIモデルを厳密に吟味して調達すること、モデルの完全性を確保するために暗号検証を採用すること、サードパーティのAI資産へのアクセスを厳格に管理することなどがあります。さらに、安全なモデルシリアライゼーション形式を利用し、隔離された実行環境内でAIモデルをサンドボックス化することは、潜在的な脅威を封じ込めるための重要なステップです。この包括的なメッセージは、進化する脅威の状況において効果的な脅威の検知、予防、緩和を促進するために、継続的な警戒、プロアクティブなセキュリティ対策、AI主導型攻撃ペイロードの固有の特性に対する深い理解が極めて重要であることを強調しています。
本誌はこちらからご覧いただけます。