O Google anunciou hoje um novo “token de resultado independente”, Google-Extended, que permite controlar se Bard e Vertex AI podem acessar o teor do seu site.
Oriente parece ser o resultado final de um “discussão pública” O Google iniciou em julho, quando a empresa prometeu reunir “vozes de editores da web, sociedade social, ateneu e outras áreas” para falar sobre escolha e controle sobre o teor da web.
Bard é a utensílio de IA conversacional do Google. Vertex AI é a plataforma de aprendizagem de máquina do Google para gerar e implantar aplicativos generativos de pesquisa e bate-papo com tecnologia de IA.
O pregão. Em uma postagem no blog, o Google disse:
“Hoje estamos anunciando o Google-Extended, um novo controle que os editores da web podem usar para gerenciar se seus sites ajudam a melhorar as APIs generativas da Bard e Vertex AI, incluindo gerações futuras de modelos que alimentam esses produtos. Ao usar o Google-Extended para controlar o entrada ao teor de um site, o gestor do site pode escolher se deseja ajudar esses modelos de IA a se tornarem mais precisos e capazes ao longo do tempo.”
– Danielle Romain do Google, vice-presidente de crédito / Uma atualização nos controles do editor da web
Estendido pelo Google. O novo rastreador foi adicionado à Mediano da Pesquisa Google documentação sobre rastreadores da web.
O que o Google está dizendo. A empresa disse que o Google-Extended dá aos editores “escolha e controle”:
- “Tornar controles simples e escalonáveis, uma vez que o Google-Extended, disponíveis por meio do robots.txt é um passo importante para fornecer transparência e controle que acreditamos que todos os fornecedores de modelos de IA deveriam disponibilizar. No entanto, à medida que as aplicações de IA se expandem, os editores da web enfrentarão a complicação crescente de gerenciar diferentes usos em graduação.”
Robôs.txt. Você pode usar o robots.txt para impedir que o Google-Extended acesse seu teor ou partes dele. Para bloquear totalmente o Google-Extended, adicione o seguinte ao robots.txt do seu site:
User-agent: Google-Extended Disallow: /
Por que nos importamos. Sabemos que 242 dos 1.000 sites mais populares já decidiram bloquear GPTBot, rastreador web da OpenAI, desde que foi lançado em agosto. Agora você pode determinar se seu site deve optar por não ajudar o Google a melhorar seus produtos de IA.
Esta é a resposta certa? Em Robots.txt não é a resposta: propor uma nova meta tag para LLM/AI, o colaborador do Search Engine Land argumentou por que usar robots.txt para gerenciar o uso de dados em LLMs é a abordagem errada. Parece que o Google não concordou.
Vá mais fundo. Rastreadores, motores de busca e a desonestidade das empresas de IA generativa
