o Permitir. Você não pode dizer a webcrawler o que olhar, só o que não olhar at.If você ainda está curioso sobre o arquivo robots.txt pode encontrar muitos outros exemplos complexos online. Apenas tente um dos seus sites favoritos e olhar para o seu arquivo robots.txt. Por exemplo, você pode ir para https://www.cnn.com/robots.txt. Se você precisar de ajuda para criar um arquivo robots.txt para o seu site, há uma abundância de lugares on-line que irá criar o arquivo para você de graça. Um exemplo é https://www.seochat.com/seo-tools/robots-generator/.
Apesar de sua simplicidade, aparentemente, este arquivo pode fazer ou quebrar chances do seu site com os motores de busca. Certifique-se de que você tem o seu arquivo robots.txt no lugar e hoje formatado corretamente.
