Qwairy
Técnico

robots.txt

Ficheiro de texto na raiz de um site que indica aos robôs de indexação que páginas devem explorar ou evitar.

O que é robots.txt?

robots.txt é um padrão Web que permite aos proprietários dos sites comunicar regras aos crawlers. Indica que partes do site podem ou não ser exploradas. Em GEO, é fundamental configurá-lo para permitir que crawlers de IA, como GPTBot e ClaudeBot, acedam aos conteúdos, salvo se houver motivos legais ou estratégicos para os bloquear.

Como o Qwairy transforma isto em ação

A Qwairy analisa robots.txt para verificar a acessibilidade dos crawlers de IA. A análise confirma se GPTBot, ClaudeBot, Google-Extended e outros conseguem aceder aos conteúdos e identifica regras de bloqueio que possam impedir a visibilidade em IA.

Perguntas frequentes

Para a maioria das empresas, é preferível permiti-los. Bloqueá-los impede que os conteúdos apareçam em respostas de IA e dados de treino, tornando a marca praticamente invisível no ecossistema de pesquisa com IA. Bloqueie apenas por razões legais, como direitos de autor, competitivas, como dados proprietários, ou se pretender negociar acordos comerciais de licenciamento de IA. A opção inicial deve ser permitir, salvo motivo concreto em contrário.

Os principais incluem GPTBot (OpenAI/ChatGPT), Google-Extended (treino do Google Gemini), ClaudeBot (Anthropic), CCBot (Common Crawl, usado por muitas empresas de IA), PerplexityBot, OAI-SearchBot e Applebot-Extended. As plataformas GEO oferecem listas abrangentes e verificam a configuração de cada identificador no ficheiro robots.txt.

Não, as regras para crawlers de IA são separadas das dos crawlers de SEO tradicionais, como Googlebot e Bingbot. Pode bloquear o GPTBot sem afetar o Googlebot. Os AI Overviews dependem do rastreio normal do Google Search pelo Googlebot; bloquear Google-Extended não os remove desses resultados, apenas controla o treino e a fundamentação do Gemini. As plataformas GEO ajudam a equilibrar estas opções conforme a sua estratégia.
Partilhar:

Termos relacionados

Crawler de IA

Técnico

Cliente Web automatizado operado por uma empresa de IA para treino de modelos, pesquisa com IA ou recuperação de informação a pedido do utilizador.

llms.txt

Técnico

Formato de ficheiro proposto com um resumo estruturado dos conteúdos de um site para facilitar a compreensão pelos LLM.

GPTBot

Técnico

Crawler Web da OpenAI para conteúdos que podem ser usados no treino de modelos de IA generativa, distinto do crawler de pesquisa OAI-SearchBot.

ClaudeBot

Técnico

Crawler Web da Anthropic que recolhe conteúdos públicos para treinar e melhorar os modelos Claude; os proprietários dos sites controlam o seu acesso por robots.txt.

Acessibilidade para crawlers

Técnico

Facilidade com que crawlers de motores de pesquisa e de IA, como GPTBot ou ClaudeBot, acedem, percorrem e indexam os conteúdos de um site.

Anterior
Retrieval Augmented Generation(RAG)

Arquitetura de IA que recupera informação relevante de fontes externas em tempo real antes de gerar respostas.

Seguinte
Sentimento

Tom emocional ou atitude expressa numa resposta de IA acerca de uma marca, seja positivo, negativo ou neutro.

← Voltar ao glossárioÚltima atualização 9/06/2026