Posts Recentes:

Aqui estão os melhores recursos do WWDC 2024 que você perdeu

A Apple anunciou uma série de novos recursos...

BeReal obteve sua saída no melhor cenário

Ultimamente, tem havido muitas más notícias sobre startups...

A documentação do rastreador do Google tem uma nova lista de IP


O Google atualizou a documentação do Googlebot e do rastreador para adicionar uma variedade de IPs para bots acionados por usuários de produtos do Google. Os nomes dos feeds foram alterados, o que é importante para editores que colocam endereços IP controlados pelo Google na lista de permissões. A mudança será útil para editores que desejam bloquear scrapers que usam a nuvem do Google e outros rastreadores não diretamente associados ao próprio Google.

Nova lista de endereços IP

O Google diz que a lista contém intervalos de IP que estão em uso há muito tempo, portanto, não são novos intervalos de endereços IP.

Existem dois tipos de intervalos de endereços IP:

  1. Intervalos de IP iniciados pelos usuários, mas controlados pelo Google, e resolvidos para um nome de host Google.com.
    Estas são ferramentas como o Google Site Verifier e, presumivelmente, a ferramenta Rich Results Tester.
  2. Intervalos de IP iniciados pelos usuários, mas não controlados pelo Google, e resolvidos para um nome de host gae.googleusercontent.com.
    Esses são aplicativos que estão na nuvem do Google ou scripts de aplicativos chamados do Google Sheets.

As listas que correspondem a cada categoria agora são diferentes.

Anteriormente, a lista que correspondia aos endereços IP do Google era esta: special-crawlers.json (resolvendo para gae.googleusercontent.com)

Agora a lista de “rastreadores especiais” corresponde a rastreadores que não são controlados pelo Google.

“Os IPs no objeto user-triggered-fetchers.json são resolvidos para nomes de host gae.googleusercontent.com. Esses IPs são usados, por exemplo, se um site executado no Google Cloud (GCP) tiver um recurso que exige a busca de feeds RSS externos a pedido do usuário desse site.”

A nova lista que corresponde aos rastreadores controlados pelo Google é:

buscadores acionados pelo usuário-google.json

“Ferramentas e funções de produto onde o usuário final aciona uma busca. Por exemplo, o Google Site Verifier atua a pedido de um usuário. Como a busca foi solicitada por um usuário, esses buscadores ignoram as regras do robots.txt.

Os buscadores controlados pelo Google se originam de IPs no objeto user-triggered-fetchers-google.json e resolvem para um nome de host google.com.”

A lista de IPs dos rastreadores do Google Cloud e de aplicativos que o Google não controla pode ser encontrada aqui:

https://developers.google.com/static/search/apis/ipranges/user-triggered-fetchers.json

A lista de IP do Google que são acionados pelos usuários e controlados pelo Google está aqui:

https://developers.google.com/static/search/apis/ipranges/user-triggered-fetchers-google.json

Nova seção de conteúdo

Há uma nova seção de conteúdo que explica do que trata a nova lista.

“Os buscadores controlados pelo Google se originam de IPs no objeto user-triggered-fetchers-google.json e resolvem para um nome de host google.com. Os IPs no objeto user-triggered-fetchers.json são resolvidos para nomes de host gae.googleusercontent.com. Esses IPs são usados, por exemplo, se um site executado no Google Cloud (GCP) tiver um recurso que exige a busca de feeds RSS externos mediante solicitação do usuário desse site. ***-***-***-***.gae.googleusercontent.com ou google-proxy-***-***-***-***.google.com buscadores acionados pelo usuário .json e buscadores acionados pelo usuário-google.json”

Registro de alterações do Google

O changelog do Google explicou as mudanças assim:

“Exportando um intervalo adicional de endereços IP do buscador do Google
O quê: Adicionada uma lista adicional de endereços IP para buscadores controlados pelos produtos do Google, em oposição, por exemplo, a um Apps Script controlado pelo usuário. A nova lista, user-triggered-fetchers-google.json, contém intervalos de IP que estão em uso há muito tempo.

Porquê: Tornou-se tecnicamente possível exportar as gamas.”

Leia a documentação atualizada:
Verificando o Googlebot e outros rastreadores do Google

Leia a documentação antiga:
Archive.org – Verificando o Googlebot e outros rastreadores do Google

Imagem em destaque por Shutterstock/JHVEPhoto

Últimas

Aqui estão os melhores recursos do WWDC 2024 que você perdeu

A Apple anunciou uma série de novos recursos...

BeReal obteve sua saída no melhor cenário

Ultimamente, tem havido muitas más notícias sobre startups...

Quanto custa o ChatGPT? Tudo o que você precisa saber sobre os planos de preços da OpenAI

OpenAI's Plataforma de chatbot com tecnologia de IA...

Assine

spot_img

Veja Também

Aqui estão os melhores recursos do WWDC 2024 que você perdeu

A Apple anunciou uma série de novos recursos...

BeReal obteve sua saída no melhor cenário

Ultimamente, tem havido muitas más notícias sobre startups...

Quanto custa o ChatGPT? Tudo o que você precisa saber sobre os planos de preços da OpenAI

OpenAI's Plataforma de chatbot com tecnologia de IA...
spot_img

Aqui estão os melhores recursos do WWDC 2024 que você perdeu

A Apple anunciou uma série de novos recursos e atualizações no palco durante seu discurso principal na WWDC 2024incluindo atualizações para iOS, iPadOS,...

BeReal obteve sua saída no melhor cenário

Ultimamente, tem havido muitas más notícias sobre startups de mídia social. Várias empresas, incluindo o Post News alternativo do Twitter e a...

Presidente da FTC, Lina Khan, sobre startups, expansão e “inovações em possíveis infrações à lei”

A presidente da FTC, Lina Khan, era a pessoa mais jovem nomeada para seu cargo quando assumiu o cargo em 2021. Mas assim...