A startup de IA Hugging Face oferece uma ampla gama de ferramentas de hospedagem e desenvolvimento de ciência de dados, incluindo um portal semelhante ao GitHub para repositórios de código de IA, modelos e conjuntos de dados, muito porquê painéis da web para mostra de aplicativos baseados em IA.
Mas algumas das ferramentas mais impressionantes – e capazes – do Hugging Face atualmente vêm de uma equipe de duas pessoas formada em janeiro.
H4, porquê é chamado – “H4” sendo a abreviatura de “útil, honesto, inofensivo e amplexo” – tem porquê objetivo desenvolver ferramentas e “receitas” para permitir que a comunidade de IA construa chatbots com tecnologia de IA nos moldes de Bate-papoGPT. O lançamento do ChatGPT foi o catalisador para a formação do H4, na verdade, de contrato com Lewis Tunstall, engenheiro de estágio de máquina da Hugging Face e um dos dois membros do H4.
“Quando o ChatGPT foi lançado pela OpenAI no final de 2022, começamos a pensar no que seria necessário para replicar seus recursos com bibliotecas e modelos de código crédulo”, disse Tunstall ao TechCrunch em uma entrevista por e-mail. “O foco principal da pesquisa do H4 é em torno do alinhamento, que envolve amplamente ensinar aos LLMs porquê se comportar de contrato com o feedback dos humanos (ou mesmo de outras IAs).”
H4 está por trás de um número crescente de modelos de linguagem grande de código crédulo, incluindo Zephyr-7B-α, uma versão ajustada e centrada em bate-papo do padrão homônimo Mistral 7B lançado recentemente pela startup francesa de IA Mistral. O H4 também bifurcou o Falcon-40B, um padrão do Instituto de Inovação Tecnológica em Abu Dhabi – modificando o padrão para responder de forma mais útil às solicitações em linguagem proveniente.
Para treinar seus modelos, o H4 – porquê outras equipes de pesquisa da Hugging Face – conta com um cluster devotado de mais de 1.000 GPUs Nvidia A100. Tunstall e seu outro colega de trabalho H4, Ed Beeching, estão baseados remotamente na Europa, mas recebem suporte de várias equipes internas da Hugging Face, entre elas a equipe de testes e avaliação de modelos.
“O pequeno tamanho do H4 é uma escolha deliberada, pois nos permite ser mais ágeis e nos harmonizar a um cenário de pesquisa em estável mudança”, disse Beeching ao TechCrunch por e-mail. “Também temos diversas colaborações externas com grupos porquê LMSYS e LhamaIndexcom quem colaboramos em lançamentos conjuntos.”
Ultimamente, H4 tem investigado diferentes técnicas de alinhamento e construído ferramentas para testar até que ponto as técnicas propostas pela comunidade e pela indústria realmente funcionam. A equipe lançou levante mês um manual contendo todo o código-fonte e conjuntos de dados que usaram para edificar o Zephyr, e a H4 planeja atualizar o manual com o código de seus futuros modelos de IA à medida que forem lançados.
Perguntei se H4 sofreu alguma pressão dos superiores da Hugging Face para comercializar seu trabalho. Finalmente, a empresa levantou centenas de milhões de dólares de um grupo de investidores com pedigree que inclui Salesforce, IBM, AMD, Google, Amazon Intel e Nvidia. Último financiamento do Hugging Face redondo avaliou-o em US$ 4,5 bilhões – supostamente mais de 100 vezes a receita anualizada da empresa.
Tunstall disse que a H4 não monetiza diretamente suas ferramentas. Mas ele reconheceu que as ferramentas fazer nutrir o Programa de Aceleração Especializada da Hugging Face, a oferta focada na empresa da Hugging Face que fornece orientação das equipes da Hugging Face para edificar soluções personalizadas de IA.
Questionado se ele vê o H4 competindo com outras iniciativas de IA de código crédulo, porquê Eleuther AI e LAION, Beeching disse que esse não é o objetivo do H4. Em vez disso, disse ele, a intenção é “capacitar” a comunidade ensejo de IA, liberando o código de treinamento e os conjuntos de dados associados aos modelos de chat do H4.
“Nosso trabalho não seria provável sem as muitas contribuições da comunidade”, disse Beeching.
