Posts Recentes:

Google E-E-A-T: o que é isso?

No mundo digital, a confiança é fundamental. É...

Como adaptar seu marketing para a nova era da análise de dados

Não é exagero dizer que o cenário dos...

Google anuncia Gemma: IA de código aberto compatível com laptop


O Google lançou um modelo de linguagem grande de código aberto baseado na tecnologia usada para criar o Gemini que é poderoso, porém leve, otimizado para ser usado em ambientes com recursos limitados, como em um laptop ou infraestrutura em nuvem.

Gemma pode ser usado para criar um chatbot, uma ferramenta de geração de conteúdo e praticamente qualquer outra coisa que um modelo de linguagem possa fazer. Esta é a ferramenta que os SEOs estavam esperando.

É lançado em duas versões, uma com dois bilhões de parâmetros (2B) e outra com sete bilhões de parâmetros (7B). O número de parâmetros indica a complexidade e capacidade potencial do modelo. Modelos com mais parâmetros podem alcançar uma melhor compreensão da linguagem e gerar respostas mais sofisticadas, mas também requerem mais recursos para serem treinados e executados.

O objetivo de lançar Gemma é democratizar o acesso à Inteligência Artificial de última geração, treinada para ser segura e responsável imediatamente, com um kit de ferramentas para otimizá-la ainda mais para segurança.

Gemma por DeepMind

O modelo foi desenvolvido para ser leve e eficiente, o que o torna ideal para chegar às mãos de mais usuários finais.

O anúncio oficial do Google observou os seguintes pontos principais:

  • “Estamos lançando pesos de modelo em dois tamanhos: Gemma 2B e Gemma 7B. Cada tamanho é lançado com variantes pré-treinadas e ajustadas às instruções.
  • Um novo kit de ferramentas de IA generativa responsável fornece orientação e ferramentas essenciais para a criação de aplicações de IA mais seguras com Gemma.
  • Estamos fornecendo conjuntos de ferramentas para inferência e ajuste fino supervisionado (SFT) em todas as principais estruturas: JAX, PyTorch e TensorFlow por meio do Keras 3.0 nativo.
  • Os notebooks Colab e Kaggle prontos para uso, juntamente com a integração com ferramentas populares como Hugging Face, MaxText, NVIDIA NeMo e TensorRT-LLM, facilitam a introdução ao Gemma.
  • Modelos Gemma pré-treinados e ajustados por instrução podem ser executados em seu laptop, estação de trabalho ou Google Cloud com fácil implantação no Vertex AI e no Google Kubernetes Engine (GKE).
  • A otimização em diversas plataformas de hardware de IA garante desempenho líder do setor, incluindo GPUs NVIDIA e Google Cloud TPUs.
  • Os termos de uso permitem o uso e distribuição comercial responsável para todas as organizações, independentemente do tamanho.”

Análise de Gemma

De acordo com uma análise de Awni Hannun, cientista pesquisador de aprendizado de máquina da Apple, o Gemma é otimizado para ser altamente eficiente de uma forma que o torna adequado para uso em ambientes com poucos recursos.

Hannun observou que Gemma tem um vocabulário de 250.000 (250 mil) tokens contra 32 mil para modelos comparáveis. A importância disso é que Gemma pode reconhecer e processar uma variedade maior de palavras, permitindo-lhe realizar tarefas com linguagem complexa. A sua análise sugere que este extenso vocabulário aumenta a versatilidade do modelo em diferentes tipos de conteúdo. Ele também acredita que pode ajudar com matemática, código e outras modalidades.

Notou-se também que os “pesos de incorporação” são enormes (750 milhões). Os pesos de incorporação são uma referência aos parâmetros que auxiliam no mapeamento das palavras para representações de seus significados e relacionamentos.

Uma característica importante que ele destacou é que os pesos de incorporação, que codificam informações detalhadas sobre os significados e relacionamentos das palavras, são usados ​​não apenas no processamento da parte de entrada, mas também na geração da saída do modelo. Esta partilha melhora a eficiência do modelo, permitindo-lhe aproveitar melhor a sua compreensão da linguagem ao produzir texto.

Para os usuários finais, isso significa respostas (conteúdo) mais precisas, relevantes e contextualmente apropriadas do modelo, o que melhora seu uso na geração de conteúdo, bem como para chatbots e traduções.

Ele twittou:

“O vocabulário é enorme em comparação com outros modelos de código aberto: 250K vs 32k para Mistral 7B

Talvez ajude muito com matemática/código/outras modalidades com uma cauda pesada de símbolos.

Além disso, os pesos de incorporação são grandes (~750 milhões de parâmetros), então eles são compartilhados com o cabeçote de saída.”

Num tweet de acompanhamento, ele também observou uma otimização no treinamento que se traduz em respostas do modelo potencialmente mais precisas e refinadas, pois permite que o modelo aprenda e se adapte de forma mais eficaz durante a fase de treinamento.

Ele twittou:

“O peso padrão RMS tem um deslocamento unitário.

Em vez de “x * peso” eles fazem “x * (1 + peso)”.

Presumo que esta seja uma otimização de treinamento. Normalmente, o peso é inicializado em 1, mas provavelmente eles inicializam perto de 0. Semelhante a todos os outros parâmetros.”

Ele acompanhou que há mais otimizações em dados e treinamento, mas que esses dois fatores são os que mais se destacam.

Projetado para ser seguro e responsável

Uma característica importante é que ele foi projetado desde o início para ser seguro, o que o torna ideal para implantação e uso. Os dados de treinamento foram filtrados para remover informações pessoais e confidenciais. O Google também usou o aprendizado por reforço de feedback humano (RLHF) para treinar o modelo para um comportamento responsável.

Ele foi ainda depurado com nova equipe manual, testes automatizados e verificação de recursos para atividades indesejadas e perigosas.

O Google também lançou um kit de ferramentas para ajudar os usuários finais a melhorar ainda mais a segurança:

“Também estamos lançando um novo kit de ferramentas de IA generativa responsável junto com Gemma para ajudar desenvolvedores e pesquisadores a priorizar a construção de aplicações de IA seguras e responsáveis. O kit de ferramentas inclui:

  • Classificação de segurança: Fornecemos uma nova metodologia para construir classificadores de segurança robustos com exemplos mínimos.
  • Depuração: uma ferramenta de depuração de modelo ajuda a investigar o comportamento de Gemma e resolver possíveis problemas.
  • Orientação: você pode acessar as práticas recomendadas para criadores de modelos com base na experiência do Google no desenvolvimento e implantação de grandes modelos de linguagem.”

Leia o anúncio oficial do Google:

Gemma: Apresentando novos modelos abertos de última geração

Imagem em destaque da Shutterstock/Photo For Everything



Últimas

Google E-E-A-T: o que é isso?

No mundo digital, a confiança é fundamental. É...

Como adaptar seu marketing para a nova era da análise de dados

Não é exagero dizer que o cenário dos...

Assine

spot_img

Veja Também

Google E-E-A-T: o que é isso?

No mundo digital, a confiança é fundamental. É...

Como adaptar seu marketing para a nova era da análise de dados

Não é exagero dizer que o cenário dos...

Reddit recebe tratamento especial do Google?

Especialistas em SEO tem questionado se o Google...
spot_img

A Perplexity está levantando mais de US$ 250 milhões com uma avaliação de US$ 2,5 a US$ 3 bilhões para sua plataforma de pesquisa...

Perplexity, a inicialização do mecanismo de busca de IA, é uma propriedade em alta no momento. O TechCrunch descobriu que a empresa...

Google E-E-A-T: o que é isso?

No mundo digital, a confiança é fundamental. É por isso que o Google vem aprimorando seus critérios de pesquisa, priorizando conteúdos que demonstram...

Como adaptar seu marketing para a nova era da análise de dados

Não é exagero dizer que o cenário dos dados de marketing mudou bastante nos últimos dois anos. Por um lado, o maneiras...