Gary Illyes compartilhou uma pequena informação no LinkedIn sobre arquivos robots.txt. Ele disse que unicamente um pequeno número de arquivos robots.txt tem mais de 500 kilobytes. Quero proferir, a maioria dos arquivos robots.txt tem algumas linhas de texto, logo isso faz sentido, mas ainda assim, é um bom conhecimento.
Gary analisou mais de um bilhão de arquivos robots.txt que a Pesquisa Google conhece e disse que unicamente 7.188 deles tinham mais de 500 KiB. Isso é menos de 0,000719%.
Ele escreveu: “Alguém poderia pensar que dos bilhões (sim, com um 🐝) de arquivos robots.txt que o Google conhece, mais de 7.188 seriam maiores em tamanho de bytes do que o limite de processamento de 500kiB. Infelizmente. Não.”
Sim, o ponto de SEO cá é que o Google pode processar até 500 KB do seu registo robots.txt, mas a maioria desses arquivos nem chega perto desse tamanho.
Discussão no fórum no LinkedIn.
