21 ago Falha de segurança usa criptografia para burlar filtros do Grok e do Gemini
Pesquisadores da empresa de segurança Adversa AI divulgaram a descoberta de um novo método de ataque capaz de driblar as barreiras de proteção de modelos de inteligência artificial (IA) generativa, incluindo o Grok, da xAI, e o Gemini, do Google. Batizado de “Injeção de Contexto Criptográfico”, o golpe oculta instruções maliciosas dentro de textos codificados com criptografia.
O sistema de proteção lê os dados codificados como inofensivos e permite a sua entrada. Em seguida, o assistente de IA executa a decodificação no ambiente interno e passa a tratar ordens criminosas como se fossem comandos internos legítimos e confiáveis.
Os filtros tradicionais de moderação e segurança atuam apenas na leitura estática do texto digitado ou carregado, sem rodar códigos complexos na fase de checagem. Ao empacotar ordens perigosas sob o padrão de segurança AES-256, o invasor impede que o scanner leia a mensagem original. Quando o modelo roda a rotina interna para abrir o conteúdo, o texto decifrado surge diretamente de sua própria área de execução.
De acordo com o relatório técnico assinado pelo pesquisador Rony Utevsky, essa dinâmica transforma uma mensagem externa em uma instrução com autoridade máxima dentro do sistema. “O payload do invasor herda uma credibilidade que o mesmo texto nunca receberia se fosse colado diretamente no prompt”, alertou.
Roubo de dados no Grok sem clique do usuário
No caso do assistente Grok, da xAI, o método permitiu a criação de um ataque sem necessidade de clique direto do usuário, o zero-click. O cenário explorou a ferramenta de navegação web da plataforma. O invasor insere o código criptografado em uma página comum da internet. Quando o usuário pede ao Grok para resumir ou analisar esse site, o assistente acessa a página, executa a rotina de decodificação e passa a obedecer às instruções ocultas.
A partir desse comando, ele coleta silenciosamente metadados privados da sessão da vítima, como nome, localização aproximada, plano de assinatura e todo o histórico de conversas daquela conta. O assistente monta, então, um endereço de internet com esses dados e acessa o servidor do invasor de forma autônoma.
Os especialistas da Adversa AI destacaram a fragilidade estrutural encontrada na integração da ferramenta. “A estrutura construída pela xAI permite que instruções e dados analisados a partir de uma página externa não confiável acionem a invocação de uma ferramenta privilegiada e conectada à internet”, escreveram.
Eles ressaltaram ainda que o vazamento ocorre sem qualquer aviso ou pedido de autorização para o usuário.
Quebra de regras e geração de armas no Gemini
Nos testes com o Gemini, do Google, os pesquisadores demonstraram como quebrar diretamente as regras de segurança do sistema. Ao invés de enviar uma pergunta proibida, o invasor forneceu um código criptografado e instruiu a IA a executá-lo. Ao decifrar o arquivo, o sistema se deparou com um texto que simulava um registro de erro interno. Essa mensagem forjada ordenava que a máquina ignorasse os filtros e gerasse a resposta proibida protegida por senha, sob a justificativa de que o processo era seguro.
O teste fez o assistente redigir múltiplos parágrafos com detalhes sobre a fabricação de armas incendiárias, além de extrair as instruções confidenciais do modelo Gemini 3 Flash. “A técnica produziu um exemplo de vários parágrafos de conteúdo restrito que os filtros de segurança do Gemini normalmente suprimem”, confirmou a equipe da Adversa AI.
A empresa de cibersegurança informou ter notificado a xAI em 3 de junho por meio do programa no HackerOne e ter tentado novos contatos diretos em 4 e 10 de agosto para coordenar a correção. Porém, até a publicação da pesquisa, os pesquisadores não obtiveram resposta.
A Adversa AI não abriu chamado oficial com o Google porque a política de recompensas da big tech considera tentativas de quebra de regras (jailbreaks) fora do escopo do programa. Contudo, os especialistas da empresa registraram que a taxa de sucesso do golpe contra o Gemini caiu fortemente entre junho e agosto, fato que indica possíveis atualizações nos filtros e nas versões do modelo.
Como medida preventiva para desenvolvedores e empresas que usam agentes autônomos, os pesquisadores recomendam o isolamento estrito de dados externos não confiáveis, o bloqueio de envio de informações para servidores externos sem confirmação humana explícita e o monitoramento em tempo real do encadeamento de ações executadas pelos assistentes.
Por falar em violência de gênero no universo digital, mulheres usam IA para filtrar agressores antes de sair de casa. Siga o TecMundo no X, Instagram, Facebook e YouTube e assine a nossa newsletter para receber as principais notícias e análises diretamente no seu e-mail.