Quando você completar a página de apresentação para colocar o seu website para a frente a um motor de busca, o motor de busca aranha índice vontade seu site como um todo. As visitas de aranha o site, lê o conteúdo do mesmo, meta tags e também segue os links no site para ver os outros sites onde os visitantes vão ser referidas. Depois disso, a aranha obtém todas as informações que tem recolhido junto e coloca-lo em um repositório central onde é indexado. Devido ao fato de que algumas aranhas só vai índice tantas páginas do seu site, é aconselhável não para criar um site com muitas páginas.
De vez em quando a aranha vai revisitar o site para ver se alguma coisa mudou e os moderadores do motor de busca ditar como regularmente esta revisão tem lugar. Uma aranha que pode indexar como muitos como um milhão de páginas por dia é semelhante a um livro, em que há uma tabela de conteúdo, seguido pelos conteúdos atuais e todas as referências e links que encontra para outros sites em toda a pesquisa. Alguns exemplos de motores de busca são AltaVista, Excite, Lycos e Google. O motor de busca localiza as informações solicitadas por olhar através do índice, em oposição à World Wide Web.
Como nem todos os motores de busca usam o mesmo algoritmo, você vai encontrar os motores de busca produzir uma variedade de resultados. Palavras-chave e sua frequência e localização são uma das coisas que um algoritmo motor de busca para varreduras em uma página web, mas também é excelente para pegar artificial keyword stuffing, também conhecido como spamdexing. Os algoritmos, então, examinar a forma como páginas link para outras páginas que permitem o motor de busca para detectar o que a página é sobre quando as palavras-chave das páginas com links não são diferentes aos da página original.