악성 AI 모델과 관련된 문제에 대한 최신 연구 결과가 “악의적인 AI 모델이 소프트웨어 공급망 보안을 약화시킨다” 라는 제목으로 ACM 매거진의 커뮤니케이션에 게재되었습니다. 이 연구는 켄터키 대학교 교수인 셰랄리 제달리 박사와 공동으로 진행되었습니다.
소프트웨어 개발 및 배포 파이프라인에 인공지능(AI) 모델의 통합이 증가함에 따라 소프트웨어 공급망 보안에 새롭고 강력한 위협이 등장하고 있습니다. 코드에 내장된 기존의 멀웨어와 달리 악성 AI 모델은 합법적인 기능을 수행해야 하는 시스템 내에서 미묘하게 동작을 변경하거나 의사 결정에 영향을 미치거나 데이터를 유출할 수 있습니다. 이 고유한 기능을 통해 공격자는 기존의 보안 경보를 트리거하지 않고도 모델의 고유한 복잡성과 예측력을 악의적인 목적으로 활용하여 더 깊고 교활한 수준에서 소프트웨어를 손상시킬 수 있습니다.
이러한 손상된 AI 모델이 유입되는 주요 경로는 오염된 개발 도구, 악의적으로 수정된 라이브러리 또는 신뢰할 수 없는 리포지토리에서 가져온 사전 학습된 모델을 통해 이루어집니다. 이러한 모델이 통합되면 트로이 목마처럼 작동하여 승인되지 않은 코드를 실행하거나, 민감한 데이터를 유출하거나, 데이터 무결성을 조작하거나, 다음에 대한 무단 액세스를 가능하게 할 수 있습니다.
중요 시스템. 이 문서에서는 공격 흐름 모델을 강조하여 정교한 페이로드가 악의적인 목적을 달성하기 위해 공급망을 통해 어떻게 이동하여 조직의 전반적인 사이버 보안 태세에 중대한 문제를 야기할 수 있는지 분석합니다.
이러한 위협을 탐지하고 완화하는 것은 AI 모델에 내재된 불투명성과 복잡성으로 인해 특히 어렵습니다. 특히 악성 페이로드가 교묘하거나 특정 희귀 조건에서 활성화되도록 설계된 경우, 모델이 악의적으로 작동하는지 아니면 단순히 설계된 대로 작동하는지 확인하기 어려운 “블랙박스” 특성을 갖고 있는 경우가 많습니다. 또한 기존의 시그니처 기반 보안 방어는 정적 코드 서명이나 쉽게 식별 가능한 패턴에 의존하지 않기 때문에 이러한 새로운 행동 기반 공격을 식별하는 데 적합하지 않습니다. 이러한 한계로 인해 조직은 이러한 지능적이고 적응적인 공격에 대응하기 위해 소프트웨어 공급망 보안에 접근하는 방식에 근본적인 변화가 필요합니다.
이러한 증가하는 위험을 해결하기 위해 조직은 다층적인 방어 전략을 구현해야 합니다. 주요 권장 사항으로는 신뢰할 수 있는 저장소에서만 AI 모델을 엄격하게 심사하고 소싱하며, 모델 무결성을 보장하기 위해 암호화 유효성 검사를 사용하고, 타사 AI 자산에 대한 액세스를 엄격하고 통제된 상태로 유지하는 것이 포함됩니다. 또한, 안전한 모델 직렬화 형식을 활용하고 격리된 실행 환경 내에서 AI 모델을 샌드박스화하는 것은 잠재적인 위협을 차단하는 데 중요한 단계입니다. 이 중요한 메시지는 진화하는 위협 환경에서 효과적인 위협 탐지, 예방 및 완화를 위해서는 지속적인 경계, 사전 예방적 보안 조치, AI 기반 공격 페이로드의 고유한 특성에 대한 심층적인 이해가 필요하다는 점을 강조합니다.
잡지 전문은 여기에서 확인할 수 있습니다.