O Google anunciou hoje o lançamento do Cloud TPU v5p, a mais recente versão de sua unidade de processamento tensorial (TPU).
Com um conjunto de chips ainda mais poderoso e interconexão aprimorada, o TPU v5p promete oferecer velocidades de treinamento até 2,8 vezes mais rápidas do que seu antecessor, o TPU v4.
Essa atualização representa um avanço significativo no campo do treinamento de modelos de linguagem, como o GPT3-175B.
Segundo o Google, o TPU v5p possui 2 vezes mais operações de ponto flutuante por segundo (FLOPS) e 3 vezes mais memória de alta largura de banda em comparação com o TPU v5e.
Esses avanços tecnológicos permitem treinar modelos de linguagem em uma escala muito maior e de forma mais eficiente.
Em testes iniciais, o TPU v5p demonstrou um desempenho impressionante, proporcionando um aumento de velocidade de 2 vezes em cargas de trabalho de treinamento de modelos de linguagem em comparação com o TPU v4.
Os benefícios do TPU v5p se estendem além do treinamento de modelos de linguagem. O suporte robusto para estruturas de aprendizado de máquina (JAX, PyTorch, TensorFlow) e ferramentas de orquestração permite que os desenvolvedores dimensionem seus projetos de forma mais eficiente.
Além disso, a segunda geração do SparseCores oferece um desempenho significativamente aprimorado para cargas de trabalho intensivas em incorporações.
Essa combinação de recursos avançados torna o TPU v5p essencial para impulsionar esforços de pesquisa e engenharia em modelos de ponta, como o Gemini.
Embora o TPU v5p ainda não esteja disponível para o público em geral, os desenvolvedores interessados podem entrar em contato com seus gerentes de conta do Google para entrar na lista de espera.
Com essa nova geração de TPUs, o Google estabelece novos padrões de velocidade e eficiência para o treinamento de modelos de linguagem, abrindo caminho para avanços ainda maiores no campo da inteligência artificial.
