Posts Recentes:

SoftBank adquire fabricante de chips de IA do Reino Unido Graphcore

Empresa de chips do Reino Unido Gráficooré foi...

Pesquisadores do Google alertam que a IA está destruindo a internet

Um estudo feito por pesquisadores do Google aponta...

Apple atualiza documentação do Applebot


Pesquisa da Apple

A Apple fez grandes mudanças na documentação do Applebot após o evento Apple WWDC, onde a Apple anunciou o Apple Intelligence. A Apple adicionou mais sobre Applebot, detalhes de DNS reverso, Applebot-Extended e muito mais.

Para ser claro, o Applebot não é novo, tem cerca de uma década, mas agora com o Apple Intelligence, acho que a Apple está levando isso mais a sério? A alteração no documento foi feita no dia 11 de junho, um dia após a palestra da Apple.

O grande item no lado da IA ​​do Applebot é que a Apple adicionou o Applebot-Extended, semelhante ao Googlebot-Extended, para fins de IA. Como Glenn Gabe observou no X na sexta-feira, “Você pode bloquear o Applebot-Extended. Portanto, você pode cancelar por meio de robots.txt -> A Apple diz que não treina seus modelos nos dados privados ou nas interações do usuário e, em vez disso, depende de materiais licenciados e dados online disponíveis publicamente.”

Muita coisa mudou, mas aqui está a parte estendida do Applebot:

Além de seguir todas as regras e diretivas do robots.txt, a Apple tem um agente de usuário secundário, Applebot-Extended, que oferece aos editores da web controles adicionais sobre como o conteúdo de seu site pode ser usado pela Apple.

Com o Applebot-Extended, os editores da web podem optar por não permitir que o conteúdo de seu site seja usado para treinar os modelos básicos da Apple, potencializando recursos generativos de IA em produtos Apple, incluindo Apple Intelligence, Services e Developer Tools.

Você pode adicionar uma regra em robots.txt para proibir Applebot-Extended, da seguinte maneira:

Agente do usuário: Applebot-Extended Disallow: /private/

Applebot-Extended não rastreia páginas da web. As páginas da Web que não permitem o Applebot-Extended ainda podem ser incluídas nos resultados da pesquisa. Applebot-Extended é usado apenas para determinar como usar os dados rastreados pelo agente de usuário Applebot.

Permitir o Applebot-Extended ajudará a melhorar os recursos e a qualidade dos modelos generativos de IA da Apple ao longo do tempo.

A Apple também adicionou estas novas seções:

Saiba mais sobre o Applebot, o rastreador da web da Apple.

Os dados rastreados pelo Applebot são usados ​​para potencializar vários recursos, como a tecnologia de pesquisa integrada a muitas experiências de usuário no ecossistema da Apple, incluindo Spotlight, Siri e Safari. A ativação do Applebot no robots.txt permite que o conteúdo do site apareça nos resultados de pesquisa para usuários da Apple em todo o mundo nesses produtos.

O Applebot acessa muitos tipos de recursos de servidores web, incluindo, entre outros, robots.txt, mapas de sites, feeds RSS, HTML, sub-recursos necessários para renderizar páginas como javascript, solicitações Ajax, imagens e muito mais.

Outra maneira é combinar o endereço IP com um prefixo CIDR contido no seguinte arquivo JSON: Applebot IP CIDRs.

DNS reverso

No macOS, o comando host pode ser usado para determinar se um endereço IP faz parte do Applebot. Estes exemplos mostram o comando host e seu resultado:

O comando host pode ser usado para determinar se um endereço IP faz parte do Applebot. Estes exemplos mostram o comando host e seu resultado:

$ host 17-58-101-179.applebot.apple.com 17-58-101-179.applebot.apple.com tem endereço 17.58.101.179.

O comando host também pode ser usado para verificar se o DNS aponta para o mesmo endereço IP:

Agentes de usuário

Um agente de usuário ajuda os webmasters a identificar o tráfego do rastreador, para que possam obter relatórios precisos de registro de acesso da atividade do rastreador e controlar o acesso ao site por meio do robots.txt.

O Applebot capacita vários agentes de usuário, incluindo Pesquisa e Podcasts.

Procurar

Para rastreamento e renderização de pesquisa na web, o Applebot usa o seguinte formato:

A string do agente do usuário contém “Applebot” e outras informações. O seguinte é o formato geral:

Mozilla/5.0 (Dispositivo; versão_SO) AppleWebKit/WebKit_versão (KHTML, como Gecko)Versão/Safari_versão [Mobile/Mobile_version] Safari/WebKit_versão (Applebot/Applebot_versão; +http://www.apple.com/go/applebot)

Podcasts da Apple

O tráfego iTMS também pode vir de hosts applebot.apple.com e será identificado pelo seguinte agente de usuário:

Agente do usuário: iTMS

O agente do usuário iTMS não segue o robots.txt, pois não é um rastreador de pesquisa geral. Ele rastreia apenas URLs associados ao conteúdo registrado em Apple Podcasts.

Como eu disse, muita coisa mudou entre a versão antiga e a nova versão.

Você pode comparar os dois documentos em sua ferramenta de comparação de texto favorita.

VELHO:

Sobre Applebot Old

NOVO:

Sobre Applebot Novo

Discussão do fórum em X.

Últimas

Câmeras Waymo capturam imagens de pessoa acusada de supostos cortes de pneus de robotaxi

Um morador de Castro Valley foi acusado na...

SoftBank adquire fabricante de chips de IA do Reino Unido Graphcore

Empresa de chips do Reino Unido Gráficooré foi...

Pesquisadores do Google alertam que a IA está destruindo a internet

Um estudo feito por pesquisadores do Google aponta...

César Lattes, físico e professor brasileiro, é homenageado no Google

Hoje, o Google celebra com um Doodle animado...

Assine

spot_img

Veja Também

Câmeras Waymo capturam imagens de pessoa acusada de supostos cortes de pneus de robotaxi

Um morador de Castro Valley foi acusado na...

SoftBank adquire fabricante de chips de IA do Reino Unido Graphcore

Empresa de chips do Reino Unido Gráficooré foi...

Pesquisadores do Google alertam que a IA está destruindo a internet

Um estudo feito por pesquisadores do Google aponta...

César Lattes, físico e professor brasileiro, é homenageado no Google

Hoje, o Google celebra com um Doodle animado...

O WhatsApp agora permite que empresas enviem códigos de autenticação para usuários na Índia

O WhatsApp agora permite que empresas enviem códigos...
spot_img

Câmeras Waymo capturam imagens de pessoa acusada de supostos cortes de pneus de robotaxi

Um morador de Castro Valley foi acusado na quinta-feira por supostamente cortar os pneus de 17 robotaxis Waymo em São Francisco entre 24...

SoftBank adquire fabricante de chips de IA do Reino Unido Graphcore

Empresa de chips do Reino Unido Gráficooré foi formalmente adquirida pelo SoftBank do Japão.Rumores do acordo abundam há algum tempomas negociações prolongadas e...

Pesquisadores do Google alertam que a IA está destruindo a internet

Um estudo feito por pesquisadores do Google aponta que a IA generativa, a mesma que a gigante de Mountain View está super incentivando,...