Um ano atrás, Blocos de dados adquirido MosaicML por US$ 1,3 bilhão. Agora rebatizada como Mosaic AI, a plataforma tornou-se parte integrante das soluções de IA da Databricks. Hoje, no Data + AI Summit da empresa, está lançando uma série de novos recursos para o serviço. Antes dos anúncios, falei com o CEO dos cofundadores da Databricks, Ali Ghodsi, e com o CTO Matei Zaharia.
Databricks está lançando cinco novos Ferramentas de IA do Mosaico em sua conferência: Mosaic AI Agent Framework, Mosaic AI Agent Evaluation, Mosaic AI Tools Catalog, Mosaic AI Model Training e Mosaic AI Gateway.
“Tem sido um ano incrível – grandes desenvolvimentos na GenAI. Todos estão entusiasmados com isso”, disse-me Ghodsi. “Mas as coisas com as quais todos se preocupam ainda são as mesmas três coisas: como podemos aumentar a qualidade ou a confiabilidade desses modelos? Número dois, como podemos garantir que seja rentável? E há uma enorme variação de custo entre os modelos aqui – uma diferença de preço gigantesca, de ordens de grandeza. E terceiro, como fazemos isso de forma a manter a privacidade dos nossos dados?”
Os lançamentos de hoje visam cobrir a maioria dessas preocupações dos clientes da Databricks.
Zaharia também observou que as empresas que agora estão implantando grandes modelos de linguagem (LLMs) na produção estão usando sistemas que possuem múltiplos componentes. Isso geralmente significa que eles fazem várias chamadas para um modelo (ou talvez vários modelos também) e usam uma variedade de ferramentas externas para acessar bancos de dados ou fazer geração aumentada de recuperação (RAG). Esses sistemas compostos aceleram os aplicativos baseados em LLM, economizam dinheiro usando modelos mais baratos para consultas específicas ou armazenando resultados em cache e, talvez o mais importante, tornam os resultados mais confiáveis e relevantes, aumentando os modelos básicos com dados proprietários.
“Acreditamos que esse é o futuro das aplicações de IA de missão crítica e de alto impacto”, explicou ele. “Porque se você pensar bem, se estiver fazendo algo realmente de missão crítica, você vai querer que os engenheiros sejam capazes de controlar todos os aspectos disso – e você faz isso com um sistema modular. Então, estamos desenvolvendo muitas pesquisas básicas sobre qual é a melhor maneira de criar esses [systems] para uma tarefa específica para que os desenvolvedores possam trabalhar facilmente com eles e conectar todos os bits, rastrear tudo e ver o que está acontecendo.”
Quanto à construção desses sistemas, a Databricks está lançando dois serviços esta semana: o Mosaic AI Agent Framework e o Mosaic AI Tools Catalog. O AI Agent Framework utiliza a funcionalidade de pesquisa vetorial sem servidor da empresa, que se tornou disponível no mês passado, e fornece aos desenvolvedores as ferramentas para criar seus próprios aplicativos baseados em RAG.
Ghodsi e Zaharia enfatizaram que o sistema de pesquisa vetorial Databricks usa uma abordagem híbrida, combinando a pesquisa clássica baseada em palavras-chave com a pesquisa incorporada. Tudo isso está profundamente integrado ao data lake do Databricks e os dados em ambas as plataformas são sempre mantidos automaticamente sincronizados. Isso inclui os recursos de governança da plataforma geral do Databricks — e especificamente do Databricks Catálogo de Unidade camada de governança — para garantir, por exemplo, que informações pessoais não vazem para o serviço de busca de vetores.
Falando sobre o Catálogo Unity (que a empresa agora também está abrindo lentamente o código-fonte), é importante notar que a Databricks agora está estendendo esse sistema para permitir que as empresas governem quais ferramentas e funções de IA esses LLMs podem recorrer ao gerar respostas. Este catálogo, diz Databricks, também tornará esses serviços mais detectáveis em uma empresa.
Ghodsi também destacou que os desenvolvedores agora podem usar todas essas ferramentas para construir seus próprios agentes, encadeando modelos e funções usando Langchain ou LhamaIndex, por exemplo. E, de fato, Zaharia me disse que muitos clientes do Databricks já usam essas ferramentas hoje.
“Há muitas empresas que usam essas coisas, até mesmo fluxos de trabalho semelhantes aos de agentes. Acho que as pessoas muitas vezes ficam surpresas com quantos existem, mas parece ser a direção que as coisas estão tomando. E também descobrimos em nossos aplicativos internos de IA, como os aplicativos assistentes de nossa plataforma, que esta é a maneira de construí-los”, disse ele.
Para avaliar esses novos aplicativos, a Databricks também está lançando o Mosaic AI Agent Evaluation, uma ferramenta de avaliação assistida por IA que combina juízes baseados em LLM para testar o desempenho da IA na produção, mas também permite que as empresas obtenham rapidamente feedback dos usuários (e deixem eles também rotulam alguns conjuntos de dados iniciais). A avaliação do agente inclui um componente de UI baseado no Databricks aquisição da Lilás no início deste ano, que permite aos usuários visualizar e pesquisar grandes conjuntos de dados de texto.
“Todos os clientes que temos dizem: preciso fazer alguma etiquetagem internamente, vou contratar alguns funcionários para fazer isso. Só preciso de talvez 100 respostas, ou talvez 500 respostas – e então poderemos alimentar isso com os juízes do LLM”, explicou Ghodsi.
Outra forma de melhorar os resultados é usar modelos ajustados. Para isso, a Databricks agora oferece o serviço Mosaic AI Model Training, que – você adivinhou – permite que seus usuários ajustem modelos com os dados privados de sua organização para ajudá-los a ter um melhor desempenho em tarefas específicas.
A última nova ferramenta é o Mosaic AI Gateway, que a empresa descreve como uma “interface unificada para consultar, gerenciar e implantar qualquer código aberto ou modelo proprietário”. A ideia aqui é permitir que os usuários consultem qualquer LLM de forma controlada, usando um armazenamento de credenciais centralizado. Afinal, nenhuma empresa deseja que seus engenheiros enviem dados aleatórios para serviços de terceiros.
Em tempos de orçamentos reduzidos, o AI Gateway também permite que a TI estabeleça limites de taxas para diferentes fornecedores para manter os custos gerenciáveis. Além disso, essas empresas também obtêm rastreamento e rastreamento de uso para depurar esses sistemas.
Como Ghodsi me disse, todos esses novos recursos são uma reação à forma como os usuários do Databricks estão trabalhando agora com LLMs. “Vimos uma grande mudança acontecer no mercado no último trimestre e meio. No início do ano passado, qualquer pessoa com quem você conversar diria: somos pró código aberto, código aberto é incrível. Mas quando você realmente pressionou as pessoas, elas estavam usando Open AI. Todos, não importa o que dissessem, não importa o quanto estivessem elogiando o quão incrível o código aberto é, nos bastidores, eles estavam usando IA aberta.” Agora, esses clientes tornaram-se muito mais sofisticados e estão usando modelos abertos (muito poucos são realmente de código aberto, é claro), o que, por sua vez, exige que adotem um conjunto inteiramente novo de ferramentas para enfrentar os problemas — e as oportunidades — que surgem com eles. que.
