{"id":59893,"date":"2022-10-26T15:06:35","date_gmt":"2022-10-26T15:06:35","guid":{"rendered":"https:\/\/mailrelay.com\/glossary\/crawling\/"},"modified":"2025-01-24T09:36:50","modified_gmt":"2025-01-24T09:36:50","slug":"crawling","status":"publish","type":"glossary","link":"https:\/\/mailrelay.com\/es\/glosario\/crawling\/","title":{"rendered":"Crawling"},"content":{"rendered":"\n

El crawling es el recorrido llevado a cabo por una ara\u00f1a, bot<\/a>, robot o crawler (siendo ellos cualquiera de los robots de indexaci\u00f3n de los motores de b\u00fasqueda) que tiene como objetivo localizar, leer y analizar el contenido presente en una p\u00e1gina web.<\/p>\n\n\n\n

Unido a esta acci\u00f3n de \u201cinvestigaci\u00f3n\u00bb de las ara\u00f1as de rastreo se encuentra asociado el t\u00e9rmino crawl budgets, que es el tiempo que una ara\u00f1a o bot invierte en analizar la web por completo, tiempo que es controlado por las aplicaciones del propio motor de b\u00fasqueda encargadas de decidir las web a rastrear y el tiempo que se le concede a cada una.<\/p>\n\n\n\n

1. Tipos de web crawlers<\/h2>\n\n\n\n

Hay distintos tipos de ara\u00f1as web, que tienen su principal diferencia en el uso para el que han sido concebidos. Principalmente nos podemos encontrar ante estos tipos de web crawler:<\/p>\n\n\n\n

– Web crawler de motores de b\u00fasqueda.<\/strong> Son los mas conocidos y de uso mas com\u00fan. Cada motor de busqueda cuenta con su propio web crawler para examinar, recopilan e indexan el contenido de las webs.<\/p>\n\n\n\n

Algunos de los mas populares son: GoogleBot (Google), Bingbot (Bing), Slurpbot (Yahoo), DuckDuckBot (DuckDuckGo), Baiduspider (Baidu), Yandex Bot (Yandex) y Alexa Crawler (Amazon)<\/p>\n\n\n\n

– Web crawler comerciales.<\/strong> Son web crawler con muchas funcionalidades y usos, que se crean por empresas de software para venderlas a otras.<\/p>\n\n\n\n

– Web crawler de escritorio.<\/strong> Son web crawler que se pueden ejecutar en un PC u ordenador port\u00e1til, suelen tener bajo coste y un uso muy limitado, normalmente pueden rastrear peque\u00f1as cantidades de informaci\u00f3n y sitios web.<\/p>\n\n\n\n

– Web crawler en la nube.<\/strong> Son web crawler que no almacenan los datos en servidores locales, lo hacen en una nube y que, por norma general, se ofrecen como servicios por empresas de software. Su principal ventaja es que son escalables.<\/p>\n\n\n\n

– Web crawler personalizados.<\/strong> Ofrecen una funcionalidad muy simple y se utilizan por las empresas para llevar a cabo tareas muy concretas. Un ejemplo ser\u00eda los que monitorizan las posibles ca\u00eddas de servicios webs.<\/p>\n\n\n\n

2. Aspectos del crawling: Google<\/h2>\n\n\n\n

El crawling es pare vital del posicionamiento web y del SEO, por tanto cumple un prop\u00f3sito destacado en dicho aspecto. Es conocido que Google maneja mas de 200 variables que son las que determinan como se posicionar los resultados en las b\u00fasquedas.<\/p>\n\n\n\n

El funcionamiento del algoritmo no se conoce, l\u00f3gicamente, lo que si se conocen son algunos de los criterios que se tienen en cuenta para posicionar una p\u00e1gina web, muchos de ellos los obtiene con el crawling, entre los que se encuentran:<\/p>\n\n\n\n