Quando um motor de busca aranha solicita uma página web a partir de seu site, em seguida, o servidor envia um código de resposta. Este deve ser o código "200 OK". Infelizmente, alguns servidores de enviar um "302 movido" ou mesmo um "404 Not Found" código de resposta para o mecanismo de busca, embora a página web pode ser exibido em um navegador da web normal. Nesse caso, os motores de busca vão pensar que a página web não existe e eles não vão indexar a página.
Solução: Use a busca simulador da aranha do motor para descobrir qual o código de resposta do servidor web retorna aos motores de busca. Se o código de resposta não é "200 OK", simulador aranha motor de busca do IBP irá retornar uma mensagem de aviso. (Nota do Editor: Você também pode verificar o seu código de status com o nosso livre Servidor HTTP Response Code Checker) Se você quiser obter top rankings no Google e outros motores de busca, então você deve se certificar de que os motores de busca, não interprete mal as suas páginas.
Use as dicas acima para ter certeza de que os motores de busca ver o que você quer que eles vejam.