Nossa pesquisa mais recente sobre os desafios associados aos modelos de IA mal-intencionados foi publicada na revista Communications of the ACM, intitulada “Malicious AI Models Undermine Software Supply-Chain Security”.Essa pesquisa foi realizada em colaboração com o Dr. Sherali Zedally, professor da Universidade de Kentucky.
A crescente integração de modelos de Inteligência Artificial (IA) aos pipelines de desenvolvimento e implantação de software introduz uma nova e potente ameaça à segurança da cadeia de suprimentos de software. Diferentemente do malware tradicional incorporado ao código, os modelos de IA mal-intencionados podem alterar sutilmente o comportamento, influenciar decisões ou exfiltrar dados de dentro de sistemas em que se espera que eles desempenhem funções legítimas. Esse recurso exclusivo permite que os invasores comprometam o software em um nível mais profundo e insidioso, aproveitando a complexidade inerente do modelo e o poder preditivo para fins nefastos, muitas vezes sem acionar alarmes de segurança convencionais.
Os principais vetores para a introdução desses modelos de IA comprometidos são ferramentas de desenvolvimento contaminadas, bibliotecas maliciosamente modificadas ou modelos pré-treinados provenientes de repositórios não confiáveis. Uma vez integrados, esses modelos podem atuar como cavalos de Troia, executando códigos não autorizados, exfiltrando dados confidenciais, manipulando a integridade dos dados ou permitindo o acesso não autorizado ao
sistemas críticos. O artigo destaca um modelo de fluxo de ataque, detalhando como cargas úteis sofisticadas podem se mover pela cadeia de suprimentos para atingir seus objetivos maliciosos, representando um desafio significativo para a postura geral de segurança cibernética de uma organização.
A detecção e a atenuação dessas ameaças são particularmente desafiadoras devido à opacidade e à complexidade inerentes aos modelos de IA. Sua natureza de “caixa preta” muitas vezes torna difícil determinar se um modelo está se comportando de forma maliciosa ou simplesmente funcionando conforme projetado, especialmente quando a carga útil maliciosa é sutil ou projetada para ser ativada em condições específicas e raras. Além disso, as defesas de segurança tradicionais baseadas em assinaturas não estão preparadas para identificar esses novos ataques orientados por comportamento, pois não dependem de assinaturas de código estático ou de padrões facilmente identificáveis. Essa limitação exige uma mudança fundamental na forma como as organizações abordam a segurança da cadeia de suprimentos de software para levar em conta esses adversários inteligentes e adaptáveis.
Para lidar com esses riscos crescentes, as organizações devem implementar uma estratégia de defesa em várias camadas. As principais recomendações incluem a verificação rigorosa e a obtenção de modelos de IA somente de repositórios confiáveis, o emprego de validação criptográfica para garantir a integridade do modelo e a manutenção de acesso rigoroso e controlado a ativos de IA de terceiros. Além disso, a utilização de formatos seguros de serialização de modelos e o sandboxing de modelos de IA em ambientes de execução isolados são etapas cruciais para conter possíveis ameaças. A mensagem abrangente enfatiza a necessidade crítica de vigilância contínua, medidas de segurança proativas e um profundo entendimento das características exclusivas das cargas de ataque orientadas por IA para promover a detecção, a prevenção e a atenuação eficazes de ameaças nesse cenário de ameaças em evolução.
A revista completa está disponível aqui.