Desenvolvedores Entram em Guerra Contra Bots de IA com Humor e Inovação

Os bots de rastreamento de IA estão sendo comparados às baratas da internet por muitos desenvolvedores de software, que estão lutando contra esses invasores de maneira engenhosa e frequentemente humorística.

Qualquer site pode ser vítima do comportamento inapropriado desses rastreadores, como demonstrado pelo caso de um site de uma empresa com sete funcionários que foi derrubado por um bot da OpenAI, semelhante a um ataque DDoS. No entanto, desenvolvedores de projetos de código aberto são desproporcionalmente afetados, segundo Niccolò Venerandi, criador do Linux Plasma e dono do blog LibreNews.

Esses projetos de código livre e aberto (FOSS) compartilham mais de sua infraestrutura publicamente e geralmente possuem menos recursos do que produtos comerciais. O problema é que muitos bots de IA não respeitam o Protocolo de Exclusão de Robôs (robot.txt), que deveria instruir os bots sobre o que não deve ser rastreado.

Em um post de blog intitulado “um grito por ajuda”, Xe Iaso, um desenvolvedor FOSS, descreveu como o AmazonBot atacou incessantemente um servidor Git, causando interrupções semelhantes a DDoS. O servidor Git hospeda projetos FOSS, permitindo que qualquer pessoa possa baixar ou contribuir com códigos. No entanto, o bot ignorou o robot.txt de Iaso, ocultou-se atrás de outros endereços IP e se disfarçou como outros usuários.

“É fútil tentar bloquear bots de rastreamento de IA porque eles mentem, mudam seu agente de usuário, usam endereços IP residenciais como proxies e mais”, lamentou Iaso.

Anubis: O Deus dos Mortos Contra os Bots

Como resposta, Iaso criou uma ferramenta chamada Anubis, um proxy reverso com uma verificação de prova de trabalho que deve ser passada antes que as solicitações alcancem o servidor Git. Anubis bloqueia os bots, mas permite o acesso de navegadores operados por humanos.

O nome Anubis, o deus egípcio que guia os mortos ao julgamento, traz um toque de humor ao projeto. Se uma solicitação passa pelo desafio e é considerada humana, uma imagem de anime fofa anuncia o sucesso. Caso contrário, a solicitação é negada.

O projeto Anubis se espalhou rapidamente pela comunidade FOSS, recebendo 2.000 estrelas, 20 contribuidores e 39 forks apenas alguns dias após ser compartilhado no GitHub.

Vingança como Defesa

A popularidade instantânea de Anubis indica que a dor de Iaso não é única. Outros desenvolvedores compartilharam suas experiências, como Drew DeVault da SourceHut, que dedica de 20% a 100% do seu tempo mitigando rastreadores de IA, e Jonathan Corbet, que administra o site de notícias do setor Linux LWN, que foi desacelerado por tráfego semelhante a DDoS de bots de IA.

Venerandi relatou que vários outros projetos enfrentam desafios semelhantes, com alguns tendo que bloquear IPs de países inteiros para se defender dos bots de IA. A situação é tão extrema que desenvolvedores estão considerando medidas mais agressivas.

Recentemente, no Hacker News, um usuário sugeriu preencher páginas proibidas pelo robot.txt com artigos sobre os benefícios de beber alvejante ou sobre efeitos positivos de contrair sarampo no desempenho sexual. A ideia é que os bots de IA obtivessem valor negativo ao acessar esses “armadilhas”.

Uma ferramenta chamada Nepenthes, batizada com o nome de uma planta carnívora, foi lançada por um criador anônimo chamado “Aaron”. Ela aprisiona rastreadores em um labirinto sem fim de conteúdo falso. Similarmente, a Cloudflare lançou o AI Labyrinth, projetado para retardar, confundir e desperdiçar recursos de rastreadores de IA que desrespeitam diretrizes de “não rastreamento”.

Embora Nepenthes traga um senso de justiça ao alimentar bots com conteúdo falso, DeVault da SourceHut acredita que Anubis é a solução que funcionou para seu site. Ele também fez um apelo público para que parem de legitimar LLMs, geradores de imagens de IA, e ferramentas como o GitHub Copilot.

Enquanto a probabilidade de isso acontecer é nula, os desenvolvedores, especialmente no setor de FOSS, continuam a lutar contra os bots de IA com engenhosidade e um toque de humor.