{"id":77883,"date":"2024-01-18T14:27:26","date_gmt":"2024-01-18T14:27:26","guid":{"rendered":"https:\/\/mailrelay.com\/glosario\/crawling\/"},"modified":"2024-01-18T14:27:26","modified_gmt":"2024-01-18T14:27:26","slug":"crawling","status":"publish","type":"glossary","link":"https:\/\/mailrelay.com\/pt\/glossario\/crawling\/","title":{"rendered":"Crawling"},"content":{"rendered":"

Crawling \u00e9 o processo realizado por um spider, bot<\/a>, rob\u00f4 ou crawler (qualquer um dos rob\u00f4s de indexa\u00e7\u00e3o dos mecanismos de busca) que tem como objetivo localizar, ler e analisar o conte\u00fado presente em uma p\u00e1gina da Web.<\/p>\n

Vinculado a essa a\u00e7\u00e3o de “pesquisa” dos spiders de rastreamento est\u00e1 o termo crawl budgets, que \u00e9 o tempo que um spider ou bot gasta para analisar toda a Web, tempo esse controlado pelos pr\u00f3prios aplicativos do mecanismo de busca encarregados de decidir os sites a serem rastreados e o tempo dado a cada um deles.<\/p>\n

1. tipos de web crawlers<\/h2>\n

Existem diferentes tipos de Web crawlers, sendo a principal diferen\u00e7a o uso pretendido. Esses s\u00e3o os principais tipos de web crawlers:<\/p>\n

Web crawler do mecanismo de pesquisa.<\/strong> Eles s\u00e3o os mais conhecidos e mais comumente usados. Cada mecanismo de busca tem seu pr\u00f3prio Web crawler para examinar, coletar e indexar o conte\u00fado da Web.<\/p>\n

Alguns dos mais populares s\u00e3o: GoogleBot (Google), Bingbot (Bing), Slurpbot (Yahoo), DuckDuckBot (DuckDuckGo), Baiduspider (Baidu), Yandex Bot (Yandex) e Alexa Crawler (Amazon).<\/p>\n

– Web crawlers comerciais<\/strong> Estes s\u00e3o Web crawlers com muitas funcionalidades e usos, criados por empresas de software para serem vendidos a terceiros.<\/p>\n

– Web crawler para desktop.<\/strong> Esses s\u00e3o Web crawlers que podem ser executados em um PC ou laptop, geralmente s\u00e3o de baixo custo e de uso muito limitado, e podem rastrear pequenas quantidades de informa\u00e7\u00f5es e sites.<\/p>\n

– Web crawler na nuvem.<\/strong> Esses s\u00e3o Web crawlers que n\u00e3o armazenam dados em servidores locais, mas em uma nuvem, e geralmente s\u00e3o oferecidos como servi\u00e7os por empresas de software. Sua principal vantagem \u00e9 que s\u00e3o escalon\u00e1veis.<\/p>\n

– Web crawler personalizado.<\/strong> Eles oferecem uma funcionalidade muito simples e s\u00e3o usados pelas empresas para realizar tarefas muito espec\u00edficas. Um exemplo seriam aqueles que monitoram poss\u00edveis falhas de servi\u00e7os da Web.<\/p>\n

2. Aspectos do crawlingo: Google<\/h2>\n

O crawling \u00e9 uma parte essencial do posicionamento na Web e do SEO, portanto, ele desempenha um papel fundamental nesse aspecto. \u00c9 sabido que o Google lida com mais de 200 vari\u00e1veis que determinam como os resultados da pesquisa s\u00e3o posicionados.<\/p>\n

O funcionamento do algoritmo<\/a> n\u00e3o \u00e9 conhecido, logicamente, o que se sabe s\u00e3o alguns dos crit\u00e9rios que s\u00e3o levados em conta para posicionar uma p\u00e1gina da Web, muitos deles obtidos com crawling, entre os quais est\u00e3o<\/p>\n