Nós definitivamente não quero essas duas páginas sejam rastreados e acabar com o motor de busca que você pregar para o spam por causa do conteúdo duplicado nas duas versões similares de uma razão page.Another você pode querer dizer que as aranhas não à aranha um página seria para salvar um pouco da banda, ao excluir algumas das imagens, folhas de estilo ou javascript. Com o arquivo robot.txt você pode ser muito específico sobre o que você quer spidered e não spidered.What não arquivo robots.txt realmente significa? O robots.
txt é um arquivo de texto (não html) que você colocar em seu site para informar os robôs de busca que páginas do seu site que você gostaria rastreados e que você não quer que as aranhas para rastrear. Colocar um arquivo robots.txt no seu site não está mandatada pelos motores de busca, no entanto, os motores de busca, normalmente, seguir as instruções que se colocam neste arquivo. Este processo é semelhante ao colocar um sinal em seu site dizendo Não entre em uma porta destrancada. Este arquivo não é um muro de fogo de modo que o motor de busca pode ainda aranha seu caminho site.
Another você poderia dizer aos motores de quais arquivos e pastas para não aranha seria com o uso de uma metatag robots. Alguns motores de don t ler metatags, assim que a informação na metatag robots não seria visto em tudo por determinados motores. A maneira preferida para ser específico para todos os motores seria com o uso do arquivo robots.txt .... não robôs metatags.Where você posiciona seu arquivo robots.txt é de vital importância. Ele deve estar no diretório principal ou os motores de busca não vai encontrar o arquivo.
Os motores de busca não todo o site, eles olham no diretório principal e se eles don t encontrar o arquivo lá, o motor de se supor que esse arquivo não existe. Como resultado, então o motor iria índice tudo o que encontrar em seu site. Mesmo que esse arquivo não é necessário pelos motores, se você não colocar o arquivo no lugar certo os motores de busca índice provável que o site inteiro, inclui