O Google atualizou sua documentação de ajuda específica para rastreadores do Google e adicionou o rastreador de segurança do Google à lista de rastreadores de casos especiais. Este rastreador não é novo, mas o Google decidiu adicioná-lo porque “recebeu muitas perguntas” no ano passado sobre esse rastreador.
O rastreador do Google Safety segue a sequência completa do agente do usuário “Google-Safety”.
O user agent Google-Safety lida com rastreamentos específicos de abusos, como a descoberta de malware para links postados publicamente nas propriedades do Google.
O user agent Google-Safety ignora as regras do robots.txt.
Por que ele ignora o robots.txt? Presumo que seja porque ele precisa verificar páginas e diretórios que podem não ser seguros para proteger seus pesquisadores e usuários.
Discussão no fórum em X.
Crédito da imagem para Lizzi.
