OpenAI, Google, Microsoft e Anthropic anunciaram apoio a um padrão único que permitirá a qualquer site bloquear, com uma única regra no arquivo robots.txt, o uso de seu conteúdo para treinar modelos de inteligência artificial generativa. A proposta foi apresentada pela Anthropic em 30 de outubro de 2026 e passou a ganhar adesão pública das demais empresas nos dias seguintes, segundo reportagens do The Verge e da Techzine replicadas por veículos especializados em tecnologia.
Como funciona o novo sinal
Até agora, um administrador de site que quisesse impedir o uso de seu conteúdo em treinamento de IA precisava configurar regras separadas para cada rastreador — como o GPTBot, da OpenAI, o ClaudeBot, da Anthropic, e o Google-Extended, do Google — dentro do arquivo robots.txt, o protocolo voluntário usado desde os anos 1990 para orientar o comportamento de rastreadores automatizados.
Com o novo padrão, batizado de "policy token" e proposto por Kevin Kelley, responsável por padrões técnicos na Anthropic, os editores passam a poder declarar uma única preferência, usando um grupo de regras identificado pelo termo __usage_ai-training no robots.txt. As quatro empresas afirmam que seus rastreadores respeitarão esse sinal assim que o encontrarem, dispensando a configuração individual por bot. É possível, ainda, abrir exceções para diretórios específicos do site.
Diferença entre treinamento e "grounding"
Segundo a Microsoft, o novo sinal permite que o editor escolha separadamente se quer bloquear apenas o uso do conteúdo para treinar modelos ou também o uso como fonte de respostas em tempo real — prática conhecida como "grounding", em que sistemas de IA consultam um site para reduzir erros e alucinações nas respostas, sem necessariamente ter usado aquele conteúdo no treinamento original. A empresa informou que a listagem de sites nos resultados do Bing não será afetada pela escolha feita no token.
Adesão desigual entre as empresas
De acordo com o levantamento do site especializado Techzine, a adoção do padrão está em estágios diferentes em cada empresa: a Anthropic já aplica a regra em seus sistemas; Google e Microsoft dizem que vão adotá-la a partir de 2027; e a OpenAI afirma que fará isso "nos próximos meses", sem data definida, mantendo por ora os controles atuais de rastreamento. A Meta, por meio do porta-voz Andy Stone, chamou a iniciativa de "um passo importante", mas não confirmou se vai respeitar o sinal.
Como o robots.txt é, por definição, um mecanismo voluntário, nada impede que um rastreador simplesmente ignore a instrução — o que já gerou atritos no setor: a Cloudflare, uma das maiores empresas de infraestrutura de internet, acusou publicamente a Perplexity, startup de buscas com IA, de contornar bloqueios de rastreamento em sites de clientes.
Contexto: a disputa entre big techs e o jornalismo
O anúncio ocorre em meio a uma disputa mais ampla entre empresas de IA e veículos de notícias sobre o uso de conteúdo jornalístico sem remuneração. Diferentes iniciativas já tentam dar mais controle a editores: a Cloudflare passou, neste ano, a bloquear por padrão rastreadores de IA em sites que usam sua rede, com um modelo de cobrança por acesso ("pay per crawl"); e o padrão Really Simple Licensing (RSL) permite que editores cobrem diretamente de rastreadores pelo uso de conteúdo — ambos mecanismos distintos do token agora apoiado por OpenAI, Google, Microsoft e Anthropic, que não trata de pagamento ou direitos autorais, apenas de permissão de uso.
No Brasil, a Associação Nacional de Jornais (ANJ) já vinha alertando, em estudos publicados ao longo de 2026, que o avanço da IA generativa pressiona o financiamento do jornalismo profissional, com queda de tráfego direto a sites de notícias conforme respostas de IA substituem cliques. Levantamentos citados por veículos de tecnologia brasileiros apontam que a maior parte dos sites de notícias já bloqueia, por conta própria, bots de treinamento de IA — ainda que de forma fragmentada, por falta de um padrão comum, lacuna que a nova iniciativa diz querer resolver.
O que ainda não está definido
O token não é, até o momento, um padrão oficial reconhecido pela IETF (Internet Engineering Task Force), entidade que formaliza protocolos de internet — a expectativa das empresas envolvidas é de que ele ganhe esse status e a adesão de outras companhias de IA ocidentais ao longo de 2027. A OpenAI afirmou que publicará detalhes técnicos de implementação em breve. Nenhuma das quatro empresas respondeu, segundo as reportagens consultadas, se o sinal terá efeito retroativo sobre conteúdo já usado em treinamentos anteriores.
Imagem de capa: ilustração gerada por inteligência artificial para fins editoriais.
Fontes consultadas
- Resultsense — "Big AI firms back a shared opt-out signal for AI training" — https://www.resultsense.com/news/2026-11-02-ai-firms-shared-robots-training-signal/
- Techzine Global — "AI companies to support shared anti-scraping standard" — https://www.techzine.eu/news/infrastructure/145439/ai-companies-to-support-shared-anti-scraping-standard/
- Martincid — "One robots.txt line will opt your site out of AI training at Google and OpenAI" — https://www.martincid.com/technology-sv/google-openai-anthropic-microsoft-robots-txt-ai-training-opt-out/
- Coywolf — "Google, OpenAI, Microsoft, and Anthropic back a shared robots.txt AI training signal" — https://coywolf.com/news/seo/google-openai-microsoft-and-anthropic-back-a-shared-robotstxt-ai-training-signal/
- Tecnoblog — "Cloudflare vai bloquear bots de IA por padrão em sites com anúncios" — https://tecnoblog.net/noticias/cloudflare-bloqueara-bots-de-ia-por-padrao-em-sites-com-anuncios/
- Conversion.com.br — "79% dos sites de notícias bloqueiam bots de treinamento de inteligência artificial" — https://www.conversion.com.br/blog/sites-noticias-bloqueiam-bots-ia