Cada vez mais empresas executam grandes modelos de linguagem, que exigem chegada a GPUs. De longe, os mais populares são os da Nvidia, o que os torna caros e muitas vezes escassos. Alugar uma instância de longo prazo de um provedor de nuvem quando você só precisa de chegada a esses recursos caros para um único trabalho não faz necessariamente sentido.
Para ajudar a resolver esse problema, a AWS lançou hoje os blocos de capacidade do Amazon Elastic Compute Cloud (EC2) para ML, permitindo que os clientes comprem chegada a essas GPUs por um período de tempo definido, normalmente para executar qualquer tipo de trabalho relacionado à IA, uma vez que treinar um padrão de tirocínio de máquina ou executando um experimento com um padrão existente.
“Esta é uma maneira inovadora de agendar instâncias de GPU, onde você pode reservar o número de instâncias necessárias para uma data futura, unicamente pelo tempo necessário”, escreveu Channy Yun. em uma postagem de blog anunciando o novo recurso.
O resultado dá aos clientes chegada a instâncias de GPUs Nvidia H100 Tensor Core em tamanhos de cluster de uma a 64 instâncias com 8 GPUs por instância. Eles podem reservar tempo de até 14 dias em incrementos de um dia, com até oito semanas de antecedência. Quando o período terminar, as instâncias serão encerradas maquinalmente.
O novo resultado permite que os usuários se inscrevam no número de instâncias que precisam por um período definido, da mesma forma que reservam um quarto de hotel por um determinado número de dias (uma vez que disse a empresa). Do ponto de vista do cliente, ele saberá exatamente quanto tempo o trabalho será executado, quantas GPUs usará e quanto custará previamente, dando-lhes certeza de custos.
Para a Amazon, eles podem colocar esses recursos sob demanda para funcionar quase em um envolvente de leilão, garantindo-lhes receita (assumindo que os clientes compareçam, é simples). O preço de chegada a estes recursos será verdadeiramente dinâmico, variando em função da oferta e da procura, segundo a empresa.
À medida que os usuários se inscrevem no serviço, ele exibe o dispêndio totalidade do prazo e dos recursos. Os usuários podem aumentar ou diminuir esse valor, dependendo de seu gosto por recursos e orçamentos, antes de concordar em comprar.
O novo recurso está disponível a partir de hoje na região AWS Leste dos EUA (Ohio).
