Posts Recentes:

CEO do Google usa mais de 20 telefones

O CEO do Google e da Alphabet, Sundar...

Google planeja consertar problema de diversidade de imagens históricas em algumas semanas

O Google está otimista em relação à solução...

O Google responde a uma pergunta sobre problema de orçamento de rastreamento

Alguém no Reddit postou uma pergunta sobre o...

5 etapas para garantir que as startups implantem LLMs com sucesso


GettyImages 1343238867

O lançamento do ChatGPT inaugurou na era dos grandes modelos de linguagem. Além das ofertas da OpenAI, outros LLMs incluem a família de LLMs LaMDA do Google (incluindo Bard), o projeto BLOOM (uma colaboração entre grupos da Microsoft, Nvidia e outras organizações), LLaMA da Meta e Claude da Anthropic.

Sem dúvida, mais serão criados. Na verdade, um Pesquisa Arize de abril de 2023 descobriram que 53% dos entrevistados planejavam implantar LLMs no próximo ano ou antes. Uma abordagem para fazer isso é criar um LLM “vertical” que comece com um LLM existente e o retreine cuidadosamente no conhecimento específico de um domínio específico. Esta tática pode funcionar para ciências da vida, produtos farmacêuticos, seguros, finanças e outros setores empresariais.

A implantação de um LLM pode proporcionar uma vantagem competitiva poderosa — mas apenas se for bem feita.

Os LLMs já levaram a questões de interesse jornalístico, como a tendência de “alucinar” informações incorretas. Este é um problema grave e pode desviar a atenção da liderança de preocupações essenciais com os processos que geram esses resultados, que podem ser igualmente problemáticos.

Os desafios de treinar e implantar um LLM

Um problema com o uso de LLMs é sua tremenda despesa operacional porque a demanda computacional para treiná-los e executá-los é muito intensa (eles não são chamados de grandes modelos de linguagem à toa).

Os LLMs são estimulantes, mas desenvolvê-los e adotá-los exige a superação de vários obstáculos de viabilidade.

Primeiro, o hardware para executar os modelos é caro. O GPU H100 da Nvidiauma escolha popular para LLMs, é vendida no mercado secundário há cerca de US$ 40.000 por ficha. Uma fonte estimou que levaria aproximadamente 6.000 fichas para treinar um LLM comparável ao ChatGPT-3.5. Isso representa cerca de US$ 240 milhões apenas em GPUs.

Outra despesa significativa é alimentar esses chips. Estima-se que apenas treinar um modelo exija cerca de 10 gigawatts-hora (GWh) de energia, equivalente ao uso anual de eletricidade em 1.000 residências nos EUA. Depois que o modelo for treinado, seu custo de eletricidade irá variar, mas pode ficar exorbitante. Essa fonte estimou que o consumo de energia para executar o ChatGPT-3.5 é de cerca de 1 GWh por dia, ou o uso diário combinado de energia de 33.000 residências.

O consumo de energia também pode ser uma armadilha potencial para a experiência do usuário ao executar LLMs em dispositivos portáteis. Isso ocorre porque o uso intenso de um dispositivo pode esgotar sua bateria muito rapidamente, o que seria uma barreira significativa para a adoção pelo consumidor.

Últimas

CEO do Google usa mais de 20 telefones

O CEO do Google e da Alphabet, Sundar...

Google planeja consertar problema de diversidade de imagens históricas em algumas semanas

O Google está otimista em relação à solução...

O Google responde a uma pergunta sobre problema de orçamento de rastreamento

Alguém no Reddit postou uma pergunta sobre o...

Assine

spot_img

Veja Também

CEO do Google usa mais de 20 telefones

O CEO do Google e da Alphabet, Sundar...

Google planeja consertar problema de diversidade de imagens históricas em algumas semanas

O Google está otimista em relação à solução...

O Google responde a uma pergunta sobre problema de orçamento de rastreamento

Alguém no Reddit postou uma pergunta sobre o...

O Instagram está trabalhando em um recurso ‘Mapa de amigos’ que permitirá rastrear a localização de amigos

O Instagram está desenvolvendo um recurso “Friend Map”,...
spot_img

CEO do Google usa mais de 20 telefones

O CEO do Google e da Alphabet, Sundar Pichai, revelou recentemente seus hábitos tecnológicos em uma entrevista.Uma de suas declarações surpreendentes foi...

Google planeja consertar problema de diversidade de imagens históricas em algumas semanas

O Google está otimista em relação à solução do problema de diversidade de imagens históricas do Gemini em questão de semanas.Na semana...

O Google responde a uma pergunta sobre problema de orçamento de rastreamento

Alguém no Reddit postou uma pergunta sobre o problema de “orçamento de rastreamento” e perguntou se um grande número de redirecionamentos 301 para...