1. Home
  2. Glossário de Marketing

Robots.txt

O que é o arquivo robots.txt?

O arquivo robots.txt é um documento que indica, para as aranhas de indexação dos motores de busca, quais partes de um site podem ser indexadas, além de fornecer um link para o XML-sitemap.

Dito de forma mais simples, um arquivo robots.txt indica aos rastreadores dos buscadores quais URLs de um site eles podem acessar, mas em nenhum caso é um mecanismo que impeça que a página seja indexada, pois muitos rastreadores ignoram as instruções do robots.txt.

Quando os rastreadores ou aranhas não respeitam a negação de indexação definida no robots.txt (que não é outra senão noindex), será necessário proteger a página com senha para impedir que indexem o site em questão.

1. Para que serve o arquivo robots.txt?

De forma geral, o arquivo robots.txt é usado para dar ordens concretas e específicas aos rastreadores dos diferentes motores de busca. Mas vamos mostrar algumas funções mais específicas.

  • Controla o acesso aos recursos gráficos. Permitem indicar se você deseja impedir que os arquivos de imagem do seu site apareçam nos resultados de busca. Sendo de vital importância para tentar ter controle sobre infográficos e imagens com informações técnicas de produtos que você tenha. Dessa forma, os interessados nessa informação, em primeira instância, só podem acessá-la visitando o nosso site.
  • Restringe o acesso a determinadas páginas web. Os sites são formados por múltiplas páginas, sendo interessante poder restringir a indexação de páginas que não é interessante que apareçam nos resultados de busca. Existem muitos motivos para isso, geralmente é para que as visitas dos rastreadores não influenciem negativamente no desempenho do nosso servidor web e para trabalhar o posicionamento SEO (evitando posicionar conteúdo que não interessa e concentrando os esforços em dar relevância ao que realmente interessa posicionar).
  • Bloquear o acesso a arquivos e diretórios. É de grande utilidade para evitar que os rastreadores bisbilhotem diretórios e arquivos que são apenas recursos para o correto funcionamento do site, contêm informações exclusivas para determinados usuários ou simplesmente são conteúdo duplicado.

2. Como criar um arquivo robots.txt?

Embora qualquer instalação padrão de um CMS, como o WordPress, crie por padrão um arquivo robots.txt, ele também pode ser criado facilmente usando um editor de texto simples: basta criar um arquivo de texto simples em formato ASCII ou UTF-8, para inserir nele as instruções de indexação desejadas.

A seguir, vamos mostrar alguns dos comandos ou instruções de uso mais comuns nos robots.txt.

3. Comandos do robots.txt

Os comandos mais utilizados no documento robots.txt são:

User-agent:, também chamado de agente de usuário, é usado para indicar a cada robô ou aranha dos motores de busca o que se deseja deles. É importante destacar que as instruções para cada um dos rastreadores são feitas em conjunto, ou seja, é usada uma única instância para o Googlebot (Google search engine) para indicar o que ele pode ou não fazer.

Sua sintaxe básica é:

  • User-agent: [robô específico ao qual as regras se destinam]
  • Disallow: indica ao robô que ele não deve acessar nem indexar uma URL, subdiretório ou diretório específico.
  • Disallow: [diretório que se deseja bloquear]
  • Allow: exatamente o contrário de Disallow:, neste caso indica-se ao user-agent uma URL, subdiretório ou diretório ao qual ele deve, sim, acessar e indexar.

4. Exemplos para robots.txt

Aqui estão alguns exemplos dos bots ou agentes dos principais buscadores:

  • Googlebot (Google search engine)
  • Googlebot-Image (Google-image search)
  • Adsbot-Google (Google AdWords)
  • Slurp (Yahoo)
  • bingbot (Bing)

Com isso, vamos apresentar alguns exemplos de linhas que podemos colocar no robots.txt e a utilidade de cada uma:

  • Todos os agentes estão proibidos de acessar esses diretórios/arquivos:

User-agent: \\\*

Disallow: /wp-admin/

Disallow: /temp/

Disallow: /precios.shtml

  • Bloquear todas as imagens do site para o Googlebot-Image:

User Agent: Googlebot-Image

Disallow: /

  • Bloquear todos os arquivos PDF para o Googlebot:

User-agent: Googlebot

Disallow: /\\\*.pdf$

Artigos relacionados

Descubra como o Mailrelay pode ajudar você com a sua estratégia de email marketing.