Falha de reutilização de namespace de modelo sequestra modelos de IA nas plataformas Google e Microsoft

Uma nova vulnerabilidade de segurança chamada "Reutilização de Namespace de Modelo" permite que invasores sequestrem modelos de IA no Google, Microsoft e plataformas de código aberto. Descubra como invasores podem substituir secretamente modelos confiáveis ​​e o que pode ser feito para impedir isso.

Foi descoberta uma nova vulnerabilidade de segurança que pode permitir que invasores sequestrem modelos populares de IA e infectem sistemas em plataformas importantes, como o Vertex AI do Google e o Azure AI Foundry da Microsoft. A pesquisa, conduzida pela equipe da Unidade 42 da Palo Alto Networks, revelou uma falha crítica chamada "Reutilização de Namespace de Modelo".

Para sua informação, os modelos de IA são frequentemente identificados por uma convenção de nomenclatura simples, como Autor/NomeDoModelo. Esse nome, ou "namespace", é como os desenvolvedores se referem aos modelos, assim como um endereço de site. Essa convenção de nomenclatura simples, embora conveniente, pode ser explorada. A pesquisa mostra que, quando um desenvolvedor exclui sua conta ou transfere a propriedade de um modelo na popular plataforma Hugging Face , o nome desse modelo fica disponível para qualquer pessoa reivindicar.

Este ataque simples, porém altamente eficaz, envolve um agente malicioso que registra um nome de modelo já disponível e carrega uma nova versão prejudicial do modelo em seu lugar. Por exemplo, se um modelo chamado DentalAI/toothfAIry fosse excluído, um invasor poderia recriar o nome e inserir uma versão maliciosa.

A equipe da Unidade 42 demonstrou isso ao assumir o nome de um modelo no Hugging Face que ainda estava sendo usado pelo Vertex AI do Google e pelo Azure AI Foundry da Microsoft. Por meio desse método, eles conseguiram acesso remoto às plataformas. A equipe divulgou suas descobertas de forma responsável ao Google e à Microsoft, que desde então tomaram medidas para resolver o problema.

Esta descoberta prova que confiar em modelos de IA baseados apenas em seus nomes não é suficiente para garantir sua segurança , além de destacar um problema generalizado na comunidade de IA. Essa falha afeta não apenas grandes plataformas, mas também milhares de projetos de código aberto que dependem do mesmo sistema de nomenclatura.

Para manter a segurança, os pesquisadores sugerem que os desenvolvedores devem "fixar" um modelo a uma versão específica e verificada para evitar que seu código extraia automaticamente novas atualizações. Outra solução é baixar e armazenar os modelos em um local interno confiável após uma verificação completa para detectar quaisquer problemas. Isso ajuda a eliminar o risco de alterações no upstream. Em última análise, proteger a cadeia de suprimentos de IA exige que todos, desde os provedores de plataforma até os desenvolvedores individuais, sejam mais vigilantes na verificação dos modelos que utilizam.

Para contribuir com a conversa, Garrett Calpouzos , pesquisador principal de segurança da Sonatype, compartilhou sua perspectiva exclusivamente com o Hackread.com sobre essa descoberta.

Calpouzos explica que "a reutilização de namespaces de modelos não é um risco totalmente novo, é essencialmente um sequestro de repositórios com outro nome". Ele observa que esse é um vetor de ataque conhecido em outros ecossistemas de software, e é por isso que algumas plataformas introduziram pacotes de "segurança" para impedir que invasores recuperem nomes excluídos.

Para as empresas, ele aconselha que "nomes não são procedência", o que significa que o nome de um modelo por si só não comprova sua origem ou segurança. Ele recomenda que as organizações "fixem um modelo a uma revisão imutável", o que significa bloqueá-lo a uma versão específica e imutável. Ao verificar esses identificadores exclusivos durante uma compilação, você pode "bloquear o ataque imediatamente ou detectá-lo imediatamente".

(Imagem de Alexandra_Koch do Pixabay)