27 out Computer use: você sabia que IAs já usam mouse e teclado?

Até pouco tempo, pedir a uma IA que realizasse alguma tarefa em um site quase sempre exigia uma ponte técnica, como uma API, para que o sistema pudesse interagir com aquele serviço. Agora, a IA também pode ir direto à tela, como faria uma pessoa.

A capacidade, conhecida como computer use, ganhou projeção em outubro de 2024, quando o Claude 3.5 Sonnet, da Anthropic, se tornou o primeiro modelo de ponta a oferecer o recurso em versão beta pública. OpenAI, Google e empresas chinesas vieram em seguida.

A ideia é permitir que a IA assuma tarefas repetitivas em sites e programas, mesmo quando eles não oferecem uma integração com outros softwares.

O problema é que entregar o mouse a uma máquina também abre espaço para erros caros e ataques escondidos em páginas comuns.

Confira, a seguir, o que é computer use, como a IA interpreta a tela e usa mouse e teclado, em que o recurso difere de outras formas de automação e quais cuidados ele exige.

O que é computer use em inteligência artificial?

Computer use é o recurso que permite a uma IA operar o computador pela mesma interface que as pessoas usam. A cada passo, o sistema analisa uma captura da tela, decide a próxima ação e confere o resultado antes de seguir.

Essa ação pode ser um clique, uma rolagem ou a digitação de um texto digitado em um campo. O computer use não é um programa específico e sim uma capacidade que diferentes sistemas de IA podem ter.

Na prática, a funcionalidade costuma aparecer dentro de agentes de IA — sistemas que planejam e executam tarefas com algum grau de autonomia. O agente é quem atua sobre a tela, ao contrário de um chatbot convencional, que apenas orienta o usuário.

Para que serve o computer use?

O computer use serve, principalmente, para o agente atuar onde não há uma integração disponível, como em programas e sites sem API, o mecanismo de conexão que permite a dois softwares trocarem dados diretamente.

Sistemas antigos de empresas, portais públicos e sites sem integração são exemplos típicos. Nesses casos, o agente recorre à mesma interface que uma pessoa usaria para preencher formulários ou consultar cadastros.

Como uma IA consegue usar mouse e teclado?

Uma IA usa mouse e teclado por meio de um ciclo de observação e ação: recebe uma captura de tela, decide o próximo passo e devolve uma instrução, como clicar em um ponto ou digitar uma palavra.

A IA não toca fisicamente no mouse nem no teclado: ela gera comandos como “clique em (x, y)” ou “digite ‘José’”. Quem faz o clique de verdade é o ambiente montado pelo desenvolvedor — em geral um navegador ou uma máquina virtual, separados do computador real.

Depois de cada etapa, uma nova captura de tela volta ao modelo. É esse retorno que permite corrigir o rumo: se o botão não estava onde o modelo esperava, ele tenta de novo.

Na documentação da OpenAI, as ações incluem clicar, dar duplo clique, arrastar, rolar a página, pressionar teclas, digitar e esperar. O modelo também pode escrever um pequeno código que roda vários comandos de uma vez — útil quando a tarefa tem muitos passos previsíveis.

Como a IA interpreta o que aparece na tela

Antes de clicar em qualquer coisa, a IA precisa interpretar a imagem da tela. Essa interpretação depende da visão computacional, ramo da IA que extrai informação de imagens, e dos modelos multimodais, treinados com texto e imagem ao mesmo tempo.

Eles reconhecem botões e campos na captura e localizam cada um em pixels. Acertar essa posição é a parte mais delicada do processo, pois um desvio de poucos pixels já basta para clicar no botão ao lado, e não no botão certo.

Por isso, o agente confere a tela a cada pequeno grupo de ações, e não só no fim. Se algo saiu do lugar, o erro aparece antes de virar problema maior.

O que uma IA pode fazer com computer use?

Com computer use, uma IA pode executar boa parte das tarefas curtas que uma pessoa faz diante de uma tela. Entre os usos estão:

• Navegar em sites para pesquisar preços e reunir informações;
• Preencher formulários de cadastro e reservas;
• Testar aplicativos, simulando o percurso de um usuário;
• Transferir dados entre programas, como copiar informações de um PDF para uma planilha;
• Operar softwares de escritório, como editores de texto e de apresentações.

Qual é a diferença entre computer use, tool calling e automação tradicional?

A principal diferença entre computer use e tool calling está no caminho até o resultado. No tool calling (chamada de ferramentas), o modelo aciona funções criadas por programadores, que falam direto com uma API.

Já no computer use, a IA entra pela mesma porta que as pessoas: em princípio, se o programa abre na tela, o agente consegue operá-lo. Em troca, esse agente interpreta capturas de tela, o que costuma ser mais lento e sujeito a erro do que ler dados prontos de uma API.

A automação tradicional, como um programa que preenche formulários, lembra uma gravação: repete sempre a mesma sequência fixa de passos (macro), mas falha se um botão muda de lugar. O agente com computer use interpreta a tela e lida melhor com essas mudanças.

Computer use e tool calling podem funcionar juntos?

Computer use e tool calling podem, sim, trabalhar juntos, porque a IA não precisa usar a tela o tempo todo. Se existe uma API para a tarefa, o agente chama essa API e reserva o computer use para o que não tem integração.

Imagine um agente que precisa consultar o cadastro de um cliente no sistema da empresa e baixar um documento em um portal público. O agente usa uma API para o cadastro e o computer use para o portal, que não oferece integração.

Na documentação da OpenAI, o computer use pode ser integrado ao modelo por meio de uma chamada de função. Na implementação recomendada para o modelo GPT-6 Astra, o modelo solicita a execução de um script, e o ambiente devolve o resultado, inclusive capturas de tela, para orientar o passo seguinte.

Quais são as vantagens e as limitações do computer use?

O computer use faz coisas que a automação tradicional não fazia, mas ainda erra em tarefas longas e em telas confusas. Os principais pontos de cada lado são:

Vantagens

• Funciona em sistemas sem API ou integração disponível;
• Dispensa roteiros fixos e lida melhor com mudanças de layout;
• Recebe pedidos em linguagem comum, sem precisar programar cada passo;
• Libera pessoas de tarefas repetitivas de digitação e cópia.

Limitações

• É mais lento que uma integração direta, porque depende de capturas de tela a cada etapa;
• Erra cliques por desvios de poucos pixels;
• Perde o fio em tarefas longas, com muitas etapas;
• Exige supervisão humana em compras, envio de dados e exclusões.

Um estudo apresentado na conferência de sistemas de aprendizado de máquina MLSys 2026 mostra a dimensão da ineficiência. Entre 16 agentes avaliados, mesmo os melhores levaram de 2,7 a 4,3 vezes mais passos do que o caminho ideal traçado por humanos.

• Oferta: resgate aqui um cupom Amazon e economize nas compras.

Computer use apresenta riscos de segurança?

O computer use amplia um risco já conhecido: a IA processa o que está na tela e pode obedecer. Uma página maliciosa pode esconder ordens para desviar o agente — é a chamada injeção de prompt.

Se o agente estiver com a conta aberta, uma ordem escondida pode levá-lo a enviar dados pessoais, fazer compras ou apagar arquivos sem que ninguém perceba. Por isso, as empresas desenvolvedoras tratam tudo o que aparece na tela como conteúdo não confiável.

Como limitar o acesso da IA a dados e sistemas?

A OpenAI recomenda quatro medidas de proteção para reduzir o que um agente com computer use consegue alcançar:

• Isolar o ambiente, com navegador ou máquina virtual separados e lista de sites permitidos;
• Ignorar ordens vindas da tela: o conteúdo exibido nunca amplia permissões;
• Pedir confirmação humana antes de compras, envio de dados ou exclusões;
• Limitar passos, tempo e custo, conferindo o resultado real da tarefa.

O computer use já funciona na prática?

Embora tenha evoluído rapidamente, o computer use ainda resolve poucas tarefas longas. O OSWorld, teste padronizado publicado em 2024 com 369 tarefas reais em sistemas operacionais, mostrou uma diferença expressiva: pessoas concluíram 72,4% das tarefas, enquanto o melhor modelo avaliado na época alcançou apenas 12,2%.

No ano seguinte, o jogo virou. No OSWorld-Verified, versão revisada do mesmo teste, os agentes passaram, pela primeira vez, a marca humana de 72,4% e chegaram a 83,4% com o Claude Opus 4.8, da Anthropic.

Mas o problema continua aparecendo em tarefas longas. Recentemente, no OSWorld 2.0 — com 108 fluxos profissionais que tomam cerca de 1,6 hora de uma pessoa —, o melhor agente concluiu só 20,6%.

Segundo os autores do benchmark, os agentes ainda esquecem restrições, perdem informações no meio do caminho e pulam a verificação final.

O computer use colocou a IA diante das mesmas telas que usamos todo dia. Ela já dá conta de tarefas curtas, mas ainda se perde em fluxos longos e em armadilhas escondidas no que processa.

À medida que os agentes ganham autonomia, a grande questão deixa de ser técnica. Não é mais se a IA acerta o botão — é quais botões aceitamos que ela aperte sozinha, quando ninguém está olhando.

Você deixaria um agente de IA assumir o mouse e o teclado do seu computador? Compartilhe esta matéria nas suas redes sociais e fique ligado no TecMundo para ficar de olho nos próximos cliques dos agentes de IA!