John Mueller, do Google, respondeu a uma pergunta no Reddit sobre uma meta tag de robôs comumente usada e o que aconteceria se ela estivesse faltando. A resposta de Mueller, embora faça sentido e esteja documentada, ainda pode ser uma surpresa para muitos editores e SEOs.
Metatag de robôs
O metaelemento HTML comunica metadados. Metadados são informações legíveis por máquina que um rastreador como o Googlebot pode ler.
Existem muitos tipos de metaelementos, como o elemento de meta descrição, mas o metaelemento Robots é diferente porque pode controlar os rastreadores do mecanismo de pesquisa.
A informação comunicada pela meta tag robots é chamada de diretiva, o que significa que os rastreadores de robôs são obrigados a obedecer às instruções na meta tag robots.
Há muitas instruções para passar pela meta de robôs, mas a meta tag a seguir é relevante para a pergunta que John Mueller respondeu.
O noindex, sem meta tag de acompanhamento:
<meta name="robots" content="noindex, nofollow">
A meta tag acima informa aos rastreadores do mecanismo de pesquisa para não indexarem o conteúdo da página da web e não seguirem nenhum link.
Uma das meta tags mais comuns é esta, que comanda os motores de busca para indexar o conteúdo e seguir todos os links:
<meta name="robots" content="index, follow">
Embora a meta tag acima seja comum, há muitos mal-entendidos sobre ela. Há uma linha de raciocínio de que, como o Google oferece suporte ao nofollow, isso deve implicar que o Google apóia a diretiva follow.
Encontrei vários sites confiáveis que dizem que o Google usa o meta índice de robôs, siga a meta tag.
Mas não é assim que o Google usa essas diretivas, como John Mueller deixa claro em sua resposta.
Qual é o efeito de deixar de fora a tag de índice Meta Robots?
A pessoa no Reddit fez a seguinte pergunta:
“Estou um pouco confuso com um site em que estou trabalhando.
Então, é assim que se parecem os meta snippets na maioria dos sites em que trabalho:
Mas, no site em questão, falta a tag ‘index’.
Minha pergunta é: qual é o efeito de o site não ter a tag ‘index’.”
John Mueller respondeu:
“A meta tag “index” robots não tem função (pelo menos no Google) – é completamente ignorada. Também “seguir”.
O Google tem https://developers.google.com/search/docs/crawling-indexing/special-tags e https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag para documentar o meta tags que possuem funções. Você pode usar qualquer outra coisa, ela será ignorada. é uma opção, se você quiser despistar as pessoas.”
Por que o Google ignora o índice e acompanhamento de robôs
A simples razão pela qual o Google ignora o índice de robôs e a meta tag follow é porque indexação e follow são os padrões.
Indexar e seguir links é o que os robôs dos mecanismos de pesquisa fazem; eles não precisam ser instruídos a indexar conteúdo e seguir links porque esse é o seu propósito.
A documentação do Google sobre tags de robôs aconselha:
“Os valores padrão são index, follow e não precisam ser especificados.”
A lista completa de diretivas válidas para o Google está aqui.
Se a meta de robôs que você deseja usar não estiver listada, o Googlebot irá ignorá-la.
O índice e o acompanhamento são completamente inúteis?
É verdade, documentado e oficial que quando se trata do Googlebot, é um desperdício de espaço HTML e é ignorado pelo Googlebot.
O Bing trata o índice de maneira semelhante, mas com uma pequena diferença, conforme descrito na documentação oficial do Bing para meta tags.
Isto é o que a documentação do Bing diz sobre a diretiva de índice:
“Por padrão, assumimos “index”, mas se necessário, você pode usar para declarar explicitamente que podemos indexar a página.”
E é isso que diz sobre a seguinte diretiva:
“Por padrão, assumimos “seguir”, mas você pode declarar explicitamente “seguir”, se desejar.”
Em meus mais de 20 anos de trabalho em SEO criando sites, otimizando-os e classificando-os, sempre considerei uma boa política dar aos bots o que eles esperam e tentar não dar-lhes nada inesperado. Portanto, se uma meta descrição não for necessária, meu impulso seria deixá-la de fora, porque o objetivo da otimização é tornar o mais fácil possível para os mecanismos de pesquisa indexarem e compreenderem o conteúdo, o que significa livrar-se de qualquer coisa que pode funcionar contra esse objetivo.
Nesse caso, é altamente provável que não tenha efeito de uma forma ou de outra.
Mas… Há outra maneira de seguir e indexar as pessoas.
Alguns editores usam esta meta tag robots:
<meta name="robots" content="noindex, follow">
Alguns sites aconselham que se a página não estiver indexada, o uso da diretiva “follow” obriga o mecanismo de busca a seguir os links.
Mas isso não é verdade se houver uma diretiva “noindex” pelas simples razões de que o Google não pode seguir um link em uma página que não esteja indexada. Se não estiver no índice, os links dessas páginas não estarão no índice.
Imagem em destaque da Shutterstock/Bangun Stock Productions
