Posts Recentes:

SoftBank adquire fabricante de chips de IA do Reino Unido Graphcore

Empresa de chips do Reino Unido Gráficooré foi...

Pesquisadores do Google alertam que a IA está destruindo a internet

Um estudo feito por pesquisadores do Google aponta...

Google lembra sites de usar Robots.txt para bloquear URLs de ação


Em uma postagem no LinkedIn, Gary Illyes, analista do Google, reiterou orientações de longa data para proprietários de sites: Use o arquivo robots.txt para evitar que rastreadores da web acessem URLs que acionam ações como adicionar itens a carrinhos ou listas de desejos.

Illyes destacou a reclamação comum de sobrecarga desnecessária de tráfego de rastreadores nos servidores, muitas vezes decorrente de bots de mecanismos de pesquisa que rastreiam URLs destinados a ações do usuário.

Ele escreveu:

“Olhando para o que estamos rastreando dos sites nas reclamações, muitas vezes são URLs de ação como 'adicionar ao carrinho' e 'adicionar à lista de desejos'. Eles são inúteis para rastreadores e você provavelmente não deseja que eles sejam rastreados.”

Para evitar esse desperdício de carga do servidor, Illyes aconselhou bloquear o acesso no arquivo robots.txt para URLs com parâmetros como “?adicionar ao carrinho” ou “?adicionar a lista de desejos.”

Como exemplo, ele sugere:

“Se você tiver URLs como:
https://example.com/product/scented-candle-v1?add_to_cart
e
https://example.com/product/scented-candle-v1?add_to_wishlist

Você provavelmente deveria adicionar uma regra de proibição para eles em seu arquivo robots.txt.”

Embora o uso do método HTTP POST também possa impedir o rastreamento de tais URLs, Illyes observou que os rastreadores ainda podem fazer solicitações POST, portanto, o robots.txt continua sendo aconselhável.

Reforçando as melhores práticas de décadas

Alan Perkins, que participou do tópico, apontou que esta orientação reflete os padrões da web introduzidos na década de 1990 pelas mesmas razões.

Citando um documento de 1993 intitulado “Um padrão para exclusão de robôs”:

“Em 1993 e 1994, houve ocasiões em que robôs visitaram servidores WWW onde não eram bem-vindos por vários motivos… robôs percorreram partes de servidores WWW que não eram adequadas, por exemplo, árvores virtuais muito profundas, informações duplicadas, informações temporárias ou scripts cgi com efeitos colaterais (como votação).”

O padrão robots.txt, que propõe regras para restringir o acesso bem comportado de rastreadores, surgiu como uma solução de “consenso” entre as partes interessadas da web em 1994.

Obediência e Exceções

Illyes afirmou que os rastreadores do Google obedecem totalmente às regras do robots.txt, com raras exceções totalmente documentadas para cenários que envolvem “buscas contratuais ou acionadas pelo usuário”.

Essa adesão ao protocolo robots.txt tem sido um pilar das políticas de rastreamento da web do Google.

Por que SEJ se importa

Embora o conselho possa parecer rudimentar, o ressurgimento destas melhores práticas com décadas de existência sublinha a sua relevância.

Ao aproveitar o padrão robots.txt, os sites podem ajudar a controlar rastreadores excessivamente zelosos, evitando que monopolizem a largura de banda com solicitações improdutivas.

Como isso pode ajudá-lo

Quer você tenha um pequeno blog ou uma grande plataforma de comércio eletrônico, seguir o conselho do Google para aproveitar o robots.txt para bloquear o acesso do rastreador a URLs de ação pode ajudar de várias maneiras:

  • Carga reduzida do servidor: você pode reduzir solicitações desnecessárias do servidor e o uso de largura de banda, evitando que rastreadores acessem URLs que invocam ações como adicionar itens a carrinhos ou listas de desejos.
  • Eficiência aprimorada do rastreador: fornecer regras mais explícitas em seu arquivo robots.txt sobre quais URLs os rastreadores devem evitar pode levar a um rastreamento mais eficiente das páginas/conteúdo que você deseja indexar e classificar.
  • Melhor experiência do usuário: com os recursos do servidor focados nas ações reais do usuário, em vez de em acessos desperdiçados do rastreador, os usuários finais provavelmente experimentarão tempos de carregamento mais rápidos e funcionalidades mais suaves.
  • Fique alinhado com os padrões: a implementação da orientação coloca seu site em conformidade com os padrões do protocolo robots.txt amplamente adotados, que são as práticas recomendadas do setor há décadas.

Revisitar as diretivas do robots.txt pode ser uma etapa simples, mas impactante para sites que buscam exercer mais controle sobre a atividade do rastreador.

As mensagens de Illyes indicam que as antigas regras do robots.txt permanecem relevantes em nosso ambiente web moderno.


Imagem em destaque: BestForBest/Shutterstock

Últimas

Câmeras Waymo capturam imagens de pessoa acusada de supostos cortes de pneus de robotaxi

Um morador de Castro Valley foi acusado na...

SoftBank adquire fabricante de chips de IA do Reino Unido Graphcore

Empresa de chips do Reino Unido Gráficooré foi...

Pesquisadores do Google alertam que a IA está destruindo a internet

Um estudo feito por pesquisadores do Google aponta...

César Lattes, físico e professor brasileiro, é homenageado no Google

Hoje, o Google celebra com um Doodle animado...

Assine

spot_img

Veja Também

Câmeras Waymo capturam imagens de pessoa acusada de supostos cortes de pneus de robotaxi

Um morador de Castro Valley foi acusado na...

SoftBank adquire fabricante de chips de IA do Reino Unido Graphcore

Empresa de chips do Reino Unido Gráficooré foi...

Pesquisadores do Google alertam que a IA está destruindo a internet

Um estudo feito por pesquisadores do Google aponta...

César Lattes, físico e professor brasileiro, é homenageado no Google

Hoje, o Google celebra com um Doodle animado...

O WhatsApp agora permite que empresas enviem códigos de autenticação para usuários na Índia

O WhatsApp agora permite que empresas enviem códigos...
spot_img

Câmeras Waymo capturam imagens de pessoa acusada de supostos cortes de pneus de robotaxi

Um morador de Castro Valley foi acusado na quinta-feira por supostamente cortar os pneus de 17 robotaxis Waymo em São Francisco entre 24...

SoftBank adquire fabricante de chips de IA do Reino Unido Graphcore

Empresa de chips do Reino Unido Gráficooré foi formalmente adquirida pelo SoftBank do Japão.Rumores do acordo abundam há algum tempomas negociações prolongadas e...

Pesquisadores do Google alertam que a IA está destruindo a internet

Um estudo feito por pesquisadores do Google aponta que a IA generativa, a mesma que a gigante de Mountain View está super incentivando,...