Como Pesquisar Engi es Trabalho? - Web Crawler

São os motores de busca que finalmente trazer o seu site para o anúncio dos potenciais clientes. Por isso, é melhor saber como estes motores de busca realmente funcionam e como eles apresentam informações para o cliente iniciar uma pesquisa.

Existem basicamente dois tipos de motores de busca. A primeira é por robôs chamados crawlers ou aranhas.

Ferramentas de pesquisa

usar aranhas para indexar sites.

Quando você enviar páginas do seu site para um motor de busca, completando sua página de envio obrigatório, o motor de busca aranha índice vontade todo o seu site. A 'aranha' é um programa automatizado que é executado pelo sistema de motor de busca. Aranha visita um site, ler o conteúdo no próprio local, meta tags do site e também siga os links que o site se conecta. A aranha, em seguida, retorna todas as informações de volta para um depósito central, onde os dados são indexados. Ele vai visitar cada link que você tem no seu site e índice esses sites também.

Algumas aranhas só índice de um determinado número de páginas em seu site, por isso não criar um site com 500 páginas!

A aranha vai retornar periodicamente aos locais para verificar se há alguma informação que foi alterado. A frequência com que isto acontece é determinado pelos moderadores do motor de busca.

Uma aranha é quase como um livro em que ele contém a tabela de conteúdo, o conteúdo real e os links e referências para todos os sites que encontra durante sua pesquisa, e pode indexar até um milhão de páginas por dia

Exemplo:..

Excite, Lycos, AltaVista e Google

Quando você pergunta a uma busca motor para localizar informações, ele é, na verdade, busca através do índice que criou e na verdade não busca na Web. Diferentes motores de busca produzir rankings diferentes porque nem toda motor de busca usa o mesmo algoritmo para procurar através dos índices.

Uma das coisas que um motor de busca algoritmo para varreduras é a frequência ea localização das palavras-chave em uma página web, mas também pode detectar palavras-chave artificial recheio

ou spamdexing.

Em seguida, os algoritmos de analisar a maneira que páginas link para outras páginas na Web. Ao verificar como as páginas ligam uns aos outros, um motor tanto pode determinar o que uma página é sobre, se as palavras-chave das páginas linkadas são semelhantes às palavras-chave na página original.