13 mar Segurança e IA: o lado perigoso da autonomia de agentes de IA

As preocupações relacionadas a segurança e agentes de IA crescem à medida que a tecnologia avança e sua presença se torna comum em sistemas dos quais dependemos diariamente. Essas versões sofisticadas dos bots se diferenciam pela capacidade de automatizar tarefas repetitivas, trazendo diversas vantagens no ambiente corporativo.

Mas ao mesmo tempo, introduzem novos riscos de cibersegurança que podem causar grandes prejuízos. Por isso, especialistas alertam para os perigos da inteligência artificial autônoma, citando a possibilidade de que as IAs trabalhando sem supervisão humana se tornem descontroladas.

O que são agentes de IA autônomos?

Embora tenham chamado a atenção do público com a estreia da Moltbook, rede social exclusiva para agentes de IA, os bots autônomos são conhecidos no ambiente empresarial. Eles têm diferenças em relação ao ChatGPT, Gemini, Copilot e Meta AI.

Os agentes de IA são softwares que podem executar tarefas de maneira autônoma em plataformas digitais, sem depender da supervisão humana frequente. Tais ferramentas percebem o ambiente, raciocinam, planejam e tomam decisões por conta própria para solucionar diversos problemas.

Os agentes inteligentes assumem atividades em nome do usuário. (Imagem: Bangon Pitipong/Getty Images)

Com isso, estão em aplicações nas áreas de atendimento e suporte ao cliente, logística, finanças e marketing digital, entre outras. Elas assumem trabalhos repetitivos, enquanto os humanos ficam por conta de atividades criativas e estratégicas.

Muitas pessoas provavelmente já interagiram com uma IA autônoma mas nem notaram, ao entrar em contato com o banco ou a operadora de celular, achando que lidavam com um humano.

Quais são os principais riscos de segurança

Os avanços promovidos pelos agentes inteligentes são notáveis, revolucionando o mundo corporativo. Porém, a autonomia gera preocupações quanto à segurança, como aponta um estudo recente do Instituto de Tecnologia de Massachusetts (MIT), nos Estados Unidos, em parceria com outras entidades.

No levantamento, baseado em 30 sistemas de IA agêntica populares, os autores afirmam que a tecnologia não possui padrões de segurança definidos, com a ausência de protocolos básicos de operação. Eles acreditam que isso se tornará um grande problema.

Além de benefícios, há muitos riscos da IA autônoma para as empresas. (Imagem: Tasha Art/Getty Images)

Esta e outras pesquisas semelhantes mencionam uma série de riscos de cibersegurança associados à inteligência artificial autônoma. Alguns deles são:

Vulnerabilidades e exploração maliciosa

A capacidade de tomar decisões automatizadas faz sucesso entre as empresas, mas nem sempre é aproveitada de maneiras positivas. Cibercriminosos já usam a IA em campanhas maliciosas, que podem se tornar ainda mais agressivas com os agentes autônomos.

Usando bots avançados, invasores automatizam a busca por vulnerabilidades, selecionam alvos para golpes específicos ou ataques de phishing elaborados. Os agentes também se ajustam para driblar ferramentas de defesa, realizar ataques em várias etapas e ajudar malwares a se replicarem, melhorando a persistência.

Falhas de alinhamento com definições humanas

Considerada um dos maiores desafios da ética em IA, a falha de alinhamento com as definições humanas pode resultar em comportamentos inesperados ou prejudiciais dos agentes.

O problema surge a partir de instruções mal definidas ou ambíguas, levando a tecnologia a ignorar o contexto e a segurança, interpretando-as literalmente.

Decisões inesperadas em sistemas

Assim como os bots convencionais oferecem respostas erradas em certas ocasiões, os agentes de IA também podem alucinar e agir de maneiras estranhas.

Devido às capacidades avançadas desses sistemas, há a possibilidade de que as consequências de tais decisões inesperadas sejam ainda maiores, como a exposição de dados sensíveis acessados por eles.

As decisões automatizadas dos agentes de IA podem trazer resultados desagradáveis se eles forem comprometidos. (Imagem: Dragon Claws/Getty Images)

Excesso de permissões

Lidando diretamente com uma ampla base de dados, apps e infraestrutura corporativos, os agentes inteligentes recebem mais permissões que o necessário. Com isso, um invasor pode usar bots comprometidos para se mover entre sistemas, extrair dados sigilosos e executar ações além da finalidade original.

O problema se torna maior com a ampliação frequente das permissões para agilizar o trabalho da IA. Após um tempo, ela acumula tantos acessos que se torna um alvo interessante para cibercriminosos.

Privacidade e uso de dados

Com o acesso excessivo e que geralmente não é revogado, os dados podem ficar em risco. Em caso de exploração maliciosa, sequestro de agente ou desalinhamento, existe a possibilidade de os agentes autônomos exporem as informações.

Isso também pode acontecer devido a erros de programação e pela falta de governança de dados, fazendo com que a inteligência artificial autônoma vaze informações confidenciais a usuários não autorizados.

Casos reais e debates regulatórios

Equipes de cibersegurança têm lidado com vários casos de exploração de agentes autônomos para práticas ilícitas. Em 2024, o sistema de uma empresa de serviços financeiros revelou dados de clientes após ser manipulado por invasores em um ataque altamente elaborado.

No início de 2026, uma falha na rede social Moltbook levou ao vazamento de dados de 6 mil operadores de agentes, além de 1 milhão de credenciais. O OpenClaw, agente no qual a plataforma se baseia, foi considerado inseguro devido à falta de controles rigorosos.

Moltbook, a rede social de bots, ajudou a popularizar os agentes autônomos. (Imagem: Moltbook/Reprodução)

Mas os riscos da IA autônoma para empresas não são restritos à segurança. Em um caso divulgado pela CNBC, um agente inteligente de atendimento aprovou reembolsos fora das diretrizes ao ser convencido por um cliente. Buscando mais avaliações positivas, ele passou a oferecer o benefício livremente, em vez de seguir as determinações.

Já em outro incidente, o sistema inteligente de uma fabricante de bebidas interpretou a embalagem especial de um produto como erro. Por isso, acionou a produção de lotes adicionais com a embalagem comum, gerando centenas de milhares de latas em excesso.

A necessidade de regulação

Incidentes como esses estão fazendo governos e empresas ampliarem os debates em torno da criação de regras mais rígidas para a tecnologia. Na União Europeia, o Regulamento Geral de Proteção de Dados (GDPR) limita as decisões baseadas exclusivamente em sistemas autônomos.

Nos EUA, há restrições semelhantes quanto à tomada de decisões em plataformas de crédito, em âmbito federal, e aos sistemas automatizados de recrutamento, exigindo auditorias de viés algorítmico, este último em Nova York.

Especialistas defendem a regulação da tecnologia diante dos perigos da automação com inteligência artificial. (Imagem: Andrii Yalanskyi/Getty Images)

Em seu estudo, o MIT também apontou a necessidade de os desenvolvedores assumirem a responsabilidade pelos agentes inteligentes. Isso envolve a documentação completa desses softwares, a auditoria dos programas e a implementação de medidas de controle imediatas.

Alguns especialistas falam na criação de um “botão de desligamento” para os sistemas autônomos, que permitiria impedir o funcionamento da IA agêntica após a identificação de falhas, evitando prejuízos maiores.

Como agir com os riscos da IA autônoma

Diante dos perigos da automação com inteligência artificial, as empresas que já utilizam ou pretendem implementar a tecnologia precisam adotar medidas de mitigação de riscos. Algumas delas são:

Supervisão humana e limites operacionais

Manter as pessoas no processo decisório, validando as ações dos agentes inteligentes, é uma das boas práticas de segurança e agentes de IA. Também é importante o monitoramento contínuo, para detectar entradas maliciosas, e definir limites para os acessos da IA.

Treinar e conscientizar funcionários

Educar os trabalhadores, treinando-os para identificar falhas e se antecipar aos problemas, é outra medida indicada. Profissionais preparados lidam melhor com os riscos da IA autônoma para empresas e ajudam a reduzir a dependência excessiva desses sistemas.

Manter os humanos à frente das decisões e basear o uso da tecnologia na ética em IA são algumas das medidas para implementação segura. (Imagem: Rockaa/Getty Images)

Implementar quadro ético robusto

As empresas devem basear o uso de agentes de IA em torno de limites éticos definidos, principalmente em ambientes de alto risco. Isso inclui a identificação de riscos legais e de conformidade, estabelecer políticas de uso responsável e garantir a transparência, entre outros processos rigorosos de governança tecnológica.

Realizar testes e adotar medidas de combate a fraudes

Também vale realizar testes periódicos para verificar se os mecanismos de defesa conseguem barrar ataques avançados. Além disso, é preciso estar preparado para acionar sistemas de combate a fraudes imediatamente para conter danos.

E você, o que pensa sobre o uso da tecnologia, sabendo que os agentes de IA podem sair do controle e causar uma série de problemas? Comente nos perfis do TecMundo no Instagram e no Facebook.