Esta breve explicação não é o mais preciso porque, como veremos a seguir, os motores de busca realizar várias atividades, a fim de entregar resultados de pesquisa - rastejando
, indexação
, processamento
, cálculo relevância
, e recuperar
.
Em primeiro lugar, os motores de busca crawl in the Web para ver o que está lá. Esta tarefa é realizada por e pedaço de software, chamado de rastreador
ou um aranha
(ou o Googlebot, como é o caso com o Google).
Spiders seguir os links de uma página para outra e índice de tudo o que encontrar em seu caminho. Tendo em conta o número de páginas na Web (mais de 20 bilhões de dólares), é impossível para uma aranha para visitar um site diariamente só para ver se uma nova página já apareceu ou se uma página já existente foi modificado. Às vezes, crawlers não vai visitar o seu site por um mês ou dois, por isso durante este tempo seus esforços de SEO não será recompensado. Mas não há nada que você possa fazer sobre isso, então apenas manter a calma.
O que você pode fazer é verificar o que um rastreador vê a partir do seu site. Como já mencionado, crawlers não são seres humanos e eles não vêem imagens, filmes Flash, JavaScript, quadros, páginas protegidas por senha e diretórios, por isso, se você tiver toneladas destes em seu site, é melhor executar o Spider Simulator
abaixo para ver se essas guloseimas são visíveis pela aranha. Se eles não são visíveis, eles não vão ser spidered, não indexados, não processados, etc. - em uma palavra do que vai ser inexistente para motores de busca
.
Guia para Search Engine Optimization