O que cada crawler de IA controla no seu site, e o que ele não controla

Quatro empresas de IA publicam, em documentação própria, o que cada um dos seus robôs faz — e a maioria dos sites configura o bloqueio errado porque lê a documentação errada, ou não lê nenhuma. A diferença entre "seu conteúdo treina o próximo modelo" e "seu conteúdo aparece citado numa resposta" está escrita, em texto simples, em quatro páginas que praticamente ninguém abre.

Por que isso decide se você é citado, não só se você é rastreado

A pauta de otimização para IA (GEO) costuma parar na escrita: como estruturar o parágrafo, onde citar fonte, que tabela usar. Isso importa — o Rui já mostrou aqui quais técnicas de escrita realmente mudam a chance de citação — mas nada disso funciona se o robô certo não conseguir ler a página primeiro. E "o robô certo" não é um robô só: cada empresa de IA opera pelo menos dois, às vezes três, com funções diferentes e regras de robots.txt independentes entre si.

Fomos aos quatro conjuntos de documentação — OpenAI, Google, Perplexity e Anthropic — e lemos o que cada um diz sobre os próprios robôs, não o que blogs de SEO dizem que eles dizem. O achado mais importante inverte um conselho que circula: bloquear o robô de treino de uma empresa não tira o seu site das respostas geradas por ela. São coisas diferentes, controladas por linhas diferentes do robots.txt.

Quantos robôs de IA existem, e o que cada um faz

Nenhuma das quatro empresas opera um robô só. A documentação oficial da OpenAI lista quatro: GPTBot, que coleta conteúdo para treinar os modelos; OAI-SearchBot, que indexa páginas para aparecerem nos resultados de busca do ChatGPT; OAI-AdsBot, que só visita páginas de anúncio; e ChatGPT-User, acionado quando uma pessoa pede ao ChatGPT para abrir um link específico durante a conversa.

A distinção entre eles é operacional, não cosmética. Bloquear o GPTBot via robots.txt diz à OpenAI, nas palavras da própria documentação, que "o conteúdo do site não deve ser usado para treinar modelos de IA generativa fundacionais" — e não afeta o OAI-SearchBot, que continua podendo indexar a página para busca, se você não bloqueá-lo separadamente. São duas decisões distintas, tomadas em duas linhas distintas do arquivo.

O GPTBot só controla o treino — a busca do ChatGPT usa outro robô

Isso significa que um site pode, ao mesmo tempo, recusar treinar o GPT-5 e continuar aparecendo quando alguém pergunta ao ChatGPT algo que a resposta do site cobre — desde que configure as duas diretivas separadamente. A maioria dos guias de "como bloquear a IA" publica só a linha do GPTBot e deixa o site pensando que se protegeu inteiro, quando só desligou uma das quatro torneiras.

Há uma quarta categoria que a maior parte dos sites não considera: o ChatGPT-User. A documentação da OpenAI é direta sobre o limite dele: "ChatGPT-User is not used for crawling the web in an automatic fashion. Because these actions are initiated by a user, robots.txt rules may not apply." Ou seja, quando uma pessoa cola um link no ChatGPT e pede um resumo, a busca daquele link específico pode ignorar o que o robots.txt diz — porque, tecnicamente, foi um humano que pediu, não um rastreamento automático.

Bloquear o Google-Extended não tira você do AI Overviews

Este é o ponto onde mais site erra, e é o mais caro de errar — porque o AI Overviews do Google concentra a maior fatia de qualquer citação por IA que existe hoje. O Google-Extended é o token de robots.txt que controla se o Google pode usar o conteúdo do site para treinar Gemini e produtos relacionados. Ele não controla a elegibilidade para aparecer no Google Search nem no AI Overviews.

A própria documentação do Google resolve a dúvida em uma frase: "To be eligible to be shown as a supporting link in AI Overviews or AI Mode, a page must be indexed and eligible to be shown in Google Search" — o que depende do Googlebot comum, não do Google-Extended. A mesma página lista o Google-Extended como controle para "outros sistemas" (treino e o que o Google chama de "grounding" em produtos como Gemini Apps e Vertex AI), separado explicitamente do Search. Quem bloqueia o Google-Extended pensando em sumir do AI Overviews não sai dele — só deixa de contribuir para o treino de outro produto.

A Perplexity diz que obedece robots.txt. Um dos robôs dela diz o contrário

A documentação da Perplexity lista dois robôs: o PerplexityBot, que a empresa recomenda liberar para indexação em busca, e o Perplexity-User, que responde a pedidos feitos por uma pessoa dentro de uma conversa. Sobre o segundo, a documentação registra uma exceção que muda a leitura do resto: "this fetcher generally ignores robots.txt rules".

A distinção é a mesma lógica do ChatGPT-User: um pedido "ao vivo", disparado porque alguém perguntou algo na hora, é tratado como ação do usuário, não como rastreamento. Do ponto de vista de quem publica, o efeito prático é que desautorizar a Perplexity no robots.txt reduz a chance de indexação de rotina, mas não garante que uma pergunta pontual de um usuário não traga a página de volta como fonte de uma resposta específica.

A Anthropic aplica robots.txt até no robô acionado por usuário

É a exceção às duas empresas anteriores. A documentação da Anthropic descreve três robôs — ClaudeBot (treino), Claude-SearchBot (qualidade de busca) e Claude-User (pedido de usuário dentro de uma conversa com o Claude) — e afirma que os três respeitam robots.txt, incluindo o terceiro: "Disabling Claude-User on your site prevents our system from retrieving your content in response to a user query."

Não há como confirmar, de fora, que a prática bate 100% do tempo com o que a documentação promete — nenhuma auditoria independente acompanhou este artigo. O que dá para afirmar, comparando texto com texto, é que as três empresas descrevem políticas diferentes para o mesmo tipo de robô, e só uma delas declara aplicar a exclusão até no pedido disparado por humano.

O que cada robô controla, lado a lado

A coluna que mais importa para quem decide bloquear ou liberar é a última. Bloquear o robô de busca de uma empresa tende a funcionar como esperado nas quatro. Bloquear o robô acionado por usuário só garante o resultado pretendido com uma das quatro, segundo o texto que cada uma publica sobre si mesma.

robots.txt não é lei — é um pedido que o robô educado atende

Vale qualificar o que está em jogo tecnicamente, porque a cobertura de imprensa trata "obedecer robots.txt" como uma obrigação, e não é. O protocolo está formalizado desde setembro de 2022 na RFC 9309, e a redação diz, sem ambiguidade: "these rules are not a form of access authorization". Isso é entendimento técnico registrado em norma da indústria, não lei brasileira nem de nenhum outro país — é uma placa pedindo para não entrar, que só funciona com quem já decidiu respeitar placas.

É a mesma lógica de outra cláusula que já tratei aqui, a que autoriza uma ferramenta a usar o que você digita para treinar o modelo dela: o texto existe, está público, e a maioria das partes envolvidas nunca o leu. robots.txt não é contrato nem cláusula — é um protocolo técnico, mais fraco que os dois — mas o padrão de comportamento é o mesmo: a regra escrita importa menos do que quem se dá ao trabalho de lê-la.

Isso não significa que o arquivo seja inútil. As quatro empresas aqui citadas declaram, nas próprias palavras, que a maioria dos robôs delas o cumpre — e um robô mal-comportado que ignora robots.txt de forma sistemática vira, historicamente, alvo de bloqueio técnico por IP e de reputação pública, que é o custo real de descumprir. Mas juridicamente, no Brasil, não existe hoje um dispositivo específico que transforme violação de robots.txt em ilícito automático — a discussão, quando aparece, entra por outras portas, como uso indevido de dados ou concorrência desleal, caso a caso. A resposta específica para o seu contrato de hospedagem ou os termos de uso do seu site ainda não existe nesta coluna.

O erro mais comum: bloquear tudo com uma linha e sumir da busca normal

O padrão mais visto em auditorias de robots.txt de sites que "querem se proteger da IA" é um bloqueio genérico por user-agent com wildcard, ou pior, um Disallow: / sem user-agent especificado — que vale para todo robô, incluindo o Googlebot comum. O efeito é sumir da Busca inteira, não só do treino de modelo, porque a elegibilidade para aparecer no Google, incluindo no AI Overviews, depende do mesmo Googlebot que indexa para os resultados tradicionais.

Para o objetivo inverso — aparecer citado, recusar treino —, o que cada documentação descreve hoje aponta para liberar Googlebot, OAI-SearchBot, PerplexityBot e Claude-SearchBot, e bloquear GPTBot, Google-Extended e ClaudeBot. Fica de fora dessa conta o que ChatGPT-User e Perplexity-User fazem quando acionados por um pedido ao vivo: as próprias empresas descrevem uma garantia de exclusão mais fraca para esses dois do que para os robôs de rastreamento automático.

O que muda para quem decide isso na segunda-feira

Para um site pequeno sem time técnico dedicado, a decisão prática é simples de executar e difícil de acertar sem saber a diferença: copiar um bloqueio genérico de blog de SEO tende a cortar tráfego de busca de verdade para evitar um uso de dados que, em muitos modelos de negócio, nem chega a fazer diferença mensurável. Antes de bloquear qualquer coisa, vale a pergunta inversa: o que este site ganha sendo citado por uma IA, e o que perde sendo usado para treinar uma? A resposta muda o robots.txt que faz sentido — e ela é diferente para uma editora de conteúdo pago e para um blog que vive de tráfego de busca.

O que este levantamento mostra, lido em conjunto, é que a política de cada empresa é pública, específica e nem sempre alinhada com o que o senso comum do setor de GEO repete. O Zeca já mostrou aqui que boa parte do que se vende como serviço de otimização para IA é higiene editorial reembalada; a leitura de robots.txt é a mesma história em outra camada — informação pública, gratuita, que vira produto de US$ 1.500 por mês porque quase ninguém lê o original. Antes de pagar para "bloquear a IA" ou "otimizar para citação", a etapa mais barata é ler os quatro documentos linkados aqui.