O arquivo robots.txt \u00e9 um documento que indica, para as aranhas de indexa\u00e7\u00e3o dos motores de busca, quais partes de um site podem ser indexadas, al\u00e9m de fornecer um link para o XML-sitemap.<\/p>\n
Dito de forma mais simples, um arquivo robots.txt indica aos rastreadores dos buscadores quais URLs de um site eles podem acessar, mas em nenhum caso \u00e9 um mecanismo que impe\u00e7a que a p\u00e1gina seja indexada, pois muitos rastreadores ignoram as instru\u00e7\u00f5es do robots.txt.<\/p>\n
Quando os rastreadores ou aranhas n\u00e3o respeitam a nega\u00e7\u00e3o de indexa\u00e7\u00e3o definida no robots.txt (que n\u00e3o \u00e9 outra sen\u00e3o noindex), ser\u00e1 necess\u00e1rio proteger a p\u00e1gina com senha para impedir que indexem o site em quest\u00e3o.<\/p>\n
De forma geral, o arquivo robots.txt \u00e9 usado para dar ordens concretas e espec\u00edficas aos rastreadores dos diferentes motores de busca. Mas vamos mostrar algumas fun\u00e7\u00f5es mais espec\u00edficas.<\/p>\n
Embora qualquer instala\u00e7\u00e3o padr\u00e3o de um CMS<\/a>, como o WordPress<\/a>, crie por padr\u00e3o um arquivo robots.txt, ele tamb\u00e9m pode ser criado facilmente usando um editor de texto simples: basta criar um arquivo de texto simples em formato ASCII ou UTF-8, para inserir nele as instru\u00e7\u00f5es de indexa\u00e7\u00e3o desejadas.<\/p>\n A seguir, vamos mostrar alguns dos comandos ou instru\u00e7\u00f5es de uso mais comuns nos robots.txt.<\/p>\n Os comandos mais utilizados no documento robots.txt s\u00e3o:<\/p>\n User-agent:<\/strong>, tamb\u00e9m chamado de agente de usu\u00e1rio, \u00e9 usado para indicar a cada rob\u00f4 ou aranha dos motores de busca o que se deseja deles. \u00c9 importante destacar que as instru\u00e7\u00f5es para cada um dos rastreadores s\u00e3o feitas em conjunto, ou seja, \u00e9 usada uma \u00fanica inst\u00e2ncia para o Googlebot (Google search engine) para indicar o que ele pode ou n\u00e3o fazer.<\/p>\n Sua sintaxe b\u00e1sica \u00e9:<\/p>\n Aqui est\u00e3o alguns exemplos dos bots ou agentes dos principais buscadores:<\/p>\n Com isso, vamos apresentar alguns exemplos de linhas que podemos colocar no robots.txt e a utilidade de cada uma:<\/p>\n3. Comandos do robots.txt<\/h2>\n
\n
4. Exemplos para robots.txt<\/h2>\n
\n
\n
User-agent: \\\\\\*<\/code><\/p>\nDisallow: \/wp-admin\/<\/code><\/p>\nDisallow: \/temp\/<\/code><\/p>\nDisallow: \/precios.shtml<\/code><\/p>\n\n
User Agent: Googlebot-Image<\/code><\/p>\nDisallow: \/<\/code><\/p>\n\n
User-agent: Googlebot<\/code><\/p>\nDisallow: \/\\\\\\*.pdf$<\/code><\/p>\n\nArtigos relacionados<\/h2>\n\n