O que você pode fazer é verificar o que um rastreador vê a partir do seu site. Como já mencionado, crawlers não são seres humanos e eles não vêem imagens, filmes Flash, JavaScript, quadros, páginas protegidas por senha e diretórios, por isso, se você tiver toneladas destes em seu site, é melhor executar o Spider Simulator
abaixo para ver se essas guloseimas são visíveis pela aranha.
Se eles não são visíveis, eles não vão ser spidered, não indexados, não processados, etc. - em uma palavra do que vai ser inexistente para motores de busca
.