Webmasters têm aprendido a não permitir o acesso raspadores web para seus sites usando ferramentas ou métodos que bloqueiam determinados endereços IP de recuperar o conteúdo do site. Raspadores de dados é deixado com a escolha, quer alvejar um site diferente, ou para mover o script colheita de computador para computador usando um endereço IP diferente de cada vez e extrair o máximo de dados possível até que todos os computadores do raspador são eventualmente blocked.Thankfully lá é uma solução moderna para este problema.
Tecnologia proxy dados raspagem resolve o problema usando endereços IP de proxy. Toda vez que seus dados raspagem programa executa uma extração de um site, o site pensa que está vindo de um endereço IP diferente. Para o dono do site, os dados de proxy raspagem simplesmente parece com um curto período de aumento do tráfego de todo o mundo. Eles têm formas muito limitadas e tediosas de bloqueio tal script mas o mais importante - na maioria das vezes, eles simplesmente não sabem que estão sendo scraped.
The óbvia pergunta seguinte é: "Onde posso obter proxy dados raspagem Tecnologia para o meu projeto?" A solução "do-it-yourself" é, sim, infelizmente, não é simples. Configurar uma rede de raspagem de dados de proxy tem um monte de tempo e requer que você quer possuir um monte de endereços IP e servidores adequados para serem utilizados como proxies, para não mencionar o guru de TI que você precisa para começar tudo configurado corretamente.
Você poderia tentar alugar servidores proxy de selecionar provedores de hospedagem, mas essa opção tende a ser bastante caro, mas melhor do que a alternativa: perigosa e não confiável (mas livre) procurador público servers.There literalmente milhares de servidores proxy gratuitos localizados ao redor do globo que estão bastante simples de usar. O truque, porém, é encontrá-los.
Muitos sites listar centenas de servidores, mas a localização de um que está trabalhando, abrir e suporta o