Tutorial: Configurando o arquivo RobotsTxt

Você pode controlar o acesso de um robô da Web visitante. É possível configurar o arquivo robots.txt que existe em seu servidor da web, geralmente no nível raiz, para controlar o acesso. Robôs da web são programas que rastreiam através da web para obter conteúdo da web para todos os sites que são visitados e fornecer indexação para melhor desempenho dos mecanismos de procura. Também é possível especificar regras separadas para robôs diferentes

Por que você gostaria de editar o arquivo Drupal pré-existente robots.txt?

Os robôs mal-intencionados podem optar por não respeitar o arquivo robots.txt e, ao editar esse arquivo, você estará divulgando os sites que não deseja que outros vejam. Portanto, não use esse arquivo para ocultar dados confidenciais. Em vez disso, você pode desejar editar seu arquivo robots.txt para:

  • Evitar que informações duplicadas sejam identificadas em seu site
  • Impedir que páginas internas apareçam nos mecanismos de procura
  • Impedir que páginas privadas apareçam nos mecanismos de procura
  • Impedir que determinadas imagens, arquivos, etc., sejam rastreados
  • Especifique um atributo crawl-delay para evitar que robôs sobrecarregem seu servidor no tempo de carregamento
  • Excluir um robô específico

Antes de iniciar

Você deve ter um Portal do Desenvolvedor ativado e deve ter acesso de administrador para concluir este tutorial.

Sobre este Tutorial

Você editará o arquivo robots.txt pré-existente e excluirá o acesso a um robô visitante chamado BadBot.

  1. Efetue login no Portal do Desenvolvedor como administrador.
  2. Navegue até Configuration > Search and Metadata > RobotsTxt.

    Página RobotsTxt

  3. Na seção " Contents of robots.txt, insira a política para excluir o acesso a um robô chamado BadBot.
    User-agent: BadBot
Disallow: /
  4. Clique em Save Configuration (Salvar configuração) para salvar suas alterações.

O Quê foi Feito Neste Tutorial

Personalização bem-sucedida do arquivo robots.txt . Os robôs agora usam esse arquivo atualizado para decidir onde eles podem rastrear em seu site. O robô BadBot foi excluído do acesso

É possível verificar se o arquivo robots.txt foi mudado com sucesso navegando para o seu site e anexando /robots.txt Agora você pode visualizar o conteúdo que inseriu nesse arquivo.

Mostrar os resultados

Para obter mais informações sobre como editar o arquivo robots.txt, consulte https://www.robotstxt.org/

O quê fazer em seguida

É possível editar o robots.txt a qualquer momento navegando de volta para a página nas definições de configuração. Você pode optar por duplicar esse arquivo em todos os seus sites ou escolher políticas diferentes para sites diferentes