1. Home
  2. Glossário de Marketing

Web scraping

O que é web scraping?

O web scraping, que costuma ser traduzido como “raspagem de páginas web”, consiste em navegar automaticamente por um site e, ao mesmo tempo, extrair os dados encontrados para, depois, analisar e manipular os dados extraídos com base em determinados parâmetros.

O aplicativo ou software criado para fazer scraping é chamado de bot, spider ou crawler. Muitos sites tentam se proteger desses aplicativos para salvaguardar seus dados. Um exemplo disso é o Captcha, que está em muitos formulários de assinatura e não só impede que nosso banco de dados de assinantes colete contas de email falsas, mas também impede que os rastreadores acessem determinadas áreas de um site.

1. Quais são os objetivos do web scraping?

As informações obtidas são muito valiosas, por isso a “raspagem de dados” é realizada com objetivos muito diversos. Pode-se dizer que eles são infinitos, assim como as possibilidades da mineração de dados; no entanto, alguns dos mais comuns são:

  • Criar bases de dados de emails: talvez seja um dos usos mais evidentes, e depois esses endereços são usados para criar bases de dados com as quais enviar spam.
  • Conhecer os concorrentes, já que, ao fazer scraping do site deles, você obtém dados que não são percebidos à primeira vista e que são muito valiosos para nos posicionarmos no mercado.
  • Controle e comparação de ofertas online, para estar sempre ciente das ofertas que estão sendo oferecidas em outros sites.
  • Gerar alertas, justamente para monitorar aspectos de um site que nos interessa controlar. Localizar links que não funcionam, a fim de resolver o problema e melhorar a estratégia de posicionamento de SEO.
  • Monitorar os preços dos concorrentes e localizar tendências. Com isso, você pode determinar as estratégias de preços dos sites e reagir a elas, se necessário.
  • Estar ciente de quaisquer alterações em um site, para que possamos estar cientes de quaisquer alterações feitas em nosso site ou em outros.
  • Rastrear a reputação online e a presença online, o que permite conhecer a posição que os mecanismos de busca atribuem às publicações de um determinado blog.
  • Coleta de páginas de produtos: para os ecommerces, é muito interessante conhecer como são compostas as páginas de produtos da concorrência, para melhorar as próprias.
  • Coletar dados de vários sites e compará-los, para ter dados sobre tendências e técnicas usadas por esses sites em vários aspectos de interesse.

2. O web scraping é legal?

Essa é uma pergunta muito comum e a resposta é que, às vezes, é legal e, às vezes, não.

Ou seja, os scrapers devem sempre levar em conta os direitos de propriedade intelectual dos sites para que a prática não seja considerada ilegal, e ela é legal desde que os dados obtidos estejam livremente disponíveis para terceiros no próprio site.

Muitas vezes, os proprietários de sites oferecem o uso de uma API para que este tipo de técnica não seja necessária e os dados possam ser obtidos facilmente. Ninguém, ou quase ninguém, se incomoda com o fato de o rastreador do Google acessar seu site para indexar o conteúdo e, assim, conquistar as melhores posições nas SERPs. Para fazer scraping legalmente, esses aspectos devem ser levados em conta:

  • Os dados coletados não podem ser usados para fins ilegais ou prejudiciais.
  • Os direitos de propriedade intelectual e legais do site devem ser sempre respeitados.
  • Se for necessário o registro do usuário ou um contrato de uso, esses dados não poderão ser coletados por scraping.
  • Os proprietários de sites têm o direito de colocar impedimentos técnicos para evitar o web scraping, e esses impedimentos não devem ser ignorados.

3. Como nos proteger do web scraping?

Mesmo que você declare explicitamente em seu site que não permite web scraping, sempre haverá quem queira fazer isso, portanto, você precisa implementar uma série de ações para se proteger, tais como:

  • Adaptar o arquivo .htaccess de acordo com os padrões dos IPs que tentam fazer web scraping, ou seja, bloqueá-los.
  • Controlar as solicitações de entrada: a identificação de IPs e sua filtragem no firewall é uma medida muito válida para tentar evitar a “raspagem” do seu site.
  • Detectar o hotlinking e evitá-lo, não permitindo o uso dos recursos do nosso servidor em locais não autorizados.
  • Limitar as solicitações por endereço IP, para que um invasor não possa estabelecer várias conexões a partir do mesmo IP.
  • Modificar a estrutura do HTML: como os rastreadores se concentram em analisar o HTML, alterá-lo com certa frequência dificulta que um invasor faça scraping do seu site com facilidade.
  • Oferecer uma API, para que você possa monitorar e restringir os dados que podem ser extraídos do seu site. Isso não impede o web scraping mal-intencionado, mas reduz bastante o número de vezes que nosso site sofre raspagem de dados.
  • Usar honeypots ou links para conteúdo falso, ou seja, conteúdo específico que não é visível para um visitante normal do site. Assim, é possível detectar os crawlers indesejados, sendo necessário desativar esses links no arquivo robots.txt para os bots dos mecanismos de busca.
  • Usar tokens de falsificação de solicitações (CSRF), evitando assim que bots automatizados façam solicitações abusivas.

Artigos relacionados

Descubra como o Mailrelay pode ajudar na sua estratégia de email marketing.