Vídeo: Expanding your site to more languages 2024
Você pode usar as tags de Meta robots para evitar que uma aranha do mecanismo de pesquisa rastreie páginas específicas em seu site. Você pode incluir uma tag especial no código HTML da página para dizer aos robôs que não indexem essa página ou não sigam os links nessa página. Você colocaria essa tag depois das outras Meta tags, que fazem parte do código HTML localizado na seção principal de uma página da Web.
Usando tags de Meta robots é menos eficiente do que usar um arquivo de texto de robôs em todo o site por dois motivos. Em primeiro lugar, os robôs às vezes ignoram as tags de Meta robots e, em segundo lugar, essas tags desaceleram os robôs que lêem suas páginas, o que pode diminuir o número de páginas que estão dispostas a rastrear. Além disso, esse método pode dar suas dores de cabeça do Webmaster porque as tags devem ser mantidas nas páginas individuais, em vez de em um arquivo central.
A etiqueta de robots Meta abaixo diz ao robô do mecanismo de busca que não indexe a página e para não seguir nenhum dos links na página:
Você poderia usar essa tag para dizer ao robô que leia e indexe o conteúdo da página, mas não siga nenhum dos links:
A próxima tag instrui o robô a ignorar o conteúdo da página, mas siga os links:
