El archivo robots.txt es un documento donde se indica, a las ara\u00f1as de indexaci\u00f3n de los motores de b\u00fasquedas, qu\u00e9 partes de un sitio web pueden se indexadas y proporciona un enlace al XML-sitemap.<\/p>\n
Dicho de forma mas sencilla, un archivo robots.txt indica a los rastreadores de los buscadores a qu\u00e9 URLs de un sitio pueden acceder, pero en ninguna caso es un mecanismo que impida que la p\u00e1gina sea indexada, pues muchos rastreadores hacen caso omiso a las instrucciones del robots.txt.<\/p>\n
Cuando los rastreadores o ara\u00f1as no hacen caso de la negaci\u00f3n de indexaci\u00f3n que se les coloca en el robots.txt (que no es otra que noindex), ser\u00e1 necesario proteger la p\u00e1gina web contrase\u00f1a que impedir que indexen la web en cuesti\u00f3n.<\/p>\n
De forma general, el archivo robots.txt es utilizado para dar ordenes concreta y especificas a los rastreadores de los distintos motores de b\u00fasqueda. Pero vamos a mostrar algunas funciones m\u00e1s espec\u00edficas.<\/p>\n
Si bien, cualquier instalaci\u00f3n por defecto de un CMS<\/a>, como WordPress<\/a> crea por defecto un archivo robots.txt, pueden crearse f\u00e1cilmente para ello haciendo uso de un editor de text plano se debe de crear un archivo de texto plano en formato ASCII o UTF-8, para colocar en su interior las instrucciones de indexaci\u00f3n deseadas.<\/p>\n Justo a continuaci\u00f3n vamos a mostrar algunas de los comandos o instrucciones de uso mas com\u00fan en los robots.txt.<\/p>\n Los comandos que m\u00e1s asiduidad se utilizan en el documento robots.txt son:<\/p>\n User-agent:<\/strong>, tambi\u00e9n llamado agente de usuario, se usa para indicar a cada robots o ara\u00f1as de los motores de b\u00fasqueda, lo que se desea de ellos. Es importante destacar que las instrucciones para cada uno de los rastreadores se realizan juntas, es decir se usa una sola instancia para Googlebot (Google search engine) para indicarle lo que se le permite o no hacer.<\/p>\n Su sintaxis b\u00e1sica es:<\/p>\n Aqu\u00ed tienes algunos ejemplos de los bots o agentes de los principales buscadores:<\/p>\n Con ello vamos a poner algunos ejemplos de l\u00edneas que podemos colocar en robots.txt y la utilidad de cada una:<\/p>\n3. Comando de robots.txt<\/h2>\n
\n
4. Ejemplos para robots.txt<\/h2>\n
\n
\n
User-agent: \\\\\\*<\/code><\/p>\nDisallow: \/wp-admin\/<\/code><\/p>\nDisallow: \/temp\/<\/code><\/p>\nDisallow: \/precios.shtml<\/code><\/p>\n\n
User Agent: Googlebot-Image<\/code><\/p>\nDisallow: \/<\/code><\/p>\n\n
User-agent: Googlebot<\/code><\/p>\nDisallow: \/\\\\\\*.pdf$<\/code><\/p>\n","protected":false},"template":"","class_list":["post-59991","glossary","type-glossary","status-publish","hentry"],"yoast_head":"\n