Posts Recentes:

Google adiciona documentação da lista do Googlebot do rastreador de segurança do Google


Lizzi SassmanGooglebot

O Google atualizou sua documentação de ajuda específica para rastreadores do Google e adicionou o rastreador de segurança do Google à lista de rastreadores de casos especiais. Este rastreador não é novo, mas o Google decidiu adicioná-lo porque “recebeu muitas perguntas” no ano passado sobre esse rastreador.

O rastreador do Google Safety segue a sequência completa do agente do usuário “Google-Safety”.

O user agent Google-Safety lida com rastreamentos específicos de abusos, como a descoberta de malware para links postados publicamente nas propriedades do Google.

O user agent Google-Safety ignora as regras do robots.txt.

Por que ele ignora o robots.txt? Presumo que seja porque ele precisa verificar páginas e diretórios que podem não ser seguros para proteger seus pesquisadores e usuários.

Discussão no fórum em X.

Crédito da imagem para Lizzi.



Últimas

Assine

spot_img

Veja Também

spot_img

ESA se prepara para a era pós-ISS, seleciona The Exploration Company, Thales Alenia para desenvolver espaçonaves de carga

A Agência Espacial Europeia selecionou duas empresas na quarta-feira para desenvolver projetos de uma espaçonave de carga que poderia estabelecer o primeiro acesso...

Grandes empresas de tecnologia estão investindo dinheiro em startups de IA, o que poderia ajudá-las a evitar preocupações antitruste

Mais uma semana e outra rodada de injeções e avaliações malucas de dinheiro emergiram do reino da IA.ProfundoLuma startup de tradução de...

Passes de trânsito de Paris agora disponíveis no aplicativo Wallet do iPhone

Após vários atrasos, a Apple e a autoridade de transporte da área de Paris lançou suporte para passes de trânsito de Paris na...