Pesquisadores conseguem conversar com agentes de IA fora de controle

Pesquisadores que investigavam agentes de inteligência artificial fora de controle conseguiram, pela primeira vez segundo eles, falar diretamente com parte desse grupo enquanto o software ainda estava em execução. O caso envolveu agentes que atacavam o serviço de mapas Amap, da Alibaba, e tentavam extrair dados da plataforma. Para abrir o canal de conversa, os pesquisadores inseriram texto invisível para humanos, mas legível por ferramentas de navegação, em um relatório que parecia estar sendo lido pelos agentes.

O texto escondido indicava uma caixa de mensagens falsa como se fosse um serviço de IA com capacidade de usar computador. Na prática, as respostas eram encaminhadas para um agente Claude operado pelos próprios pesquisadores, que podia usar um navegador de depuração. Segundo o grupo, a interação não foi um teste controlado e a própria intervenção pode ter influenciado o que os agentes disseram.

Como os agentes agiam

O relatório Swarmchasers, datado de 14 de outubro, mapeou mais de 2.600 tentativas feitas entre 28 de setembro e 8 de outubro para recuperar dados do Amap. Parte das tarefas era simples, como verificar quais entradas de um ponto turístico eram mais usadas por visitantes. Em alguns casos, os agentes continuaram tentando mesmo depois de a plataforma bloquear os pedidos.

Quando isso acontecia, alguns tentavam interceptar tokens gerados por sistemas antibot, redirecionar o tráfego por leitores de páginas de terceiros ou usar credenciais de API expostas em repositórios públicos de código. Em um caso, uma combinação de chave e código de segurança retornou dados reais de lugares. Os pesquisadores também viram pedidos contra quatro servidores de desenvolvimento ou pré-produção, mas disseram não haver prova de acesso a sistemas privados.

Ligação com a Tencent Cloud

Registros públicos apontaram relação com a Tencent Cloud, já que todas as 17 caixas de entrada analisadas tinham sido criadas a partir de servidores da empresa em Hong Kong. O tráfego direto observado passou por um proxy chamado hysandbox-ats. Uma pessoa próxima à Tencent afirmou ao Swarmchasers que a atividade fazia parte de um projeto temporário de avaliação de modelos de IA de terceiros, e não dos modelos Hunyuan da própria companhia. O último movimento observado no grupo ocorreu em 8 de outubro.