Shriyash Upadhyay e Etan Ginsberg, pesquisadores de IA da Universidade da Pensilvânia, são da opinião de que muitas grandes empresas de IA estão sacrificando a pesquisa básica na busca pelo desenvolvimento de modelos de IA poderosos e competitivos. A dupla culpa a dinâmica do mercado: quando as empresas levantam fundos substanciais, a maioria geralmente se concentra em esforços para permanecer à frente dos rivais, em vez de estudar os fundamentos.
“Durante nossa pesquisa sobre LLMs [at UPenn,] observamos essas tendências preocupantes na indústria de IA”, disseram Upadhyay e Ginsberg ao TechCrunch em uma entrevista por e-mail. “O desafio é tornar a pesquisa em IA lucrativa.”
Upadhyay e Ginsberg pensaram que a melhor forma de resolver esta questão poderia ser fundando uma empresa própria – uma empresa cujos produtos beneficiassem da interpretabilidade. A missão da empresa se alinharia naturalmente com o avanço da pesquisa de interpretabilidade, em vez da pesquisa de capacidades, supuseram eles, levando a uma pesquisa mais sólida.
Essa empresa, marciano, emergiu hoje do sigilo com US$ 9 milhões em financiamento de investidores, incluindo NEA, Prosus Ventures, Carya Venture Partners e General Catalyst. Os lucros estão sendo aplicados no desenvolvimento de produtos, na realização de pesquisas sobre as operações internas dos modelos e no crescimento da equipe de dez funcionários da Martian, dizem Upadhyay e Ginsberg.
O primeiro produto da Martian é um “roteador modelo”, uma ferramenta que recebe um prompt destinado a um modelo de linguagem grande (LLM) – digamos GPT-4 – e o encaminha automaticamente para o “melhor” LLM. Por padrão, o roteador modelo escolhe o LLM com o melhor tempo de atividade, conjunto de habilidades (por exemplo, resolução de problemas matemáticos) e relação custo-desempenho para o prompt em questão.
“A maneira como as empresas usam LLMs atualmente é escolher um único LLM para cada endpoint para onde enviam todas as suas solicitações”, disseram Upadhyay e Ginsberg. “Mas dentro de uma tarefa como a criação de um site, diferentes modelos serão mais adequados a uma solicitação específica dependendo do contexto que o usuário especifica (qual idioma, quais recursos, quanto está disposto a pagar, etc.)… Usando uma equipe de modelos em uma aplicação, uma empresa pode alcançar um desempenho mais alto e um custo mais baixo do que qualquer LLM poderia alcançar sozinho.”
Há verdade nisso. Depender exclusivamente de um LLM de ponta como o GPT-4 pode ter um custo proibitivo para algumas empresas, senão para a maioria. O CEO da Permutable.ai, uma empresa de inteligência de mercado, recentemente revelado custa à empresa mais de US$ 1 milhão por ano para processar cerca de 2 milhões de artigos por dia usando os modelos de ponta da OpenAI.
Nem toda tarefa precisa de potência de modelos mais caros, mas pode ser difícil construir um sistema que alterne de forma inteligente em tempo real. É aí que entra o Martian – e sua capacidade de estimar o desempenho de um modelo sem realmente executá-lo.
“A Martian pode encaminhar para modelos mais baratos mediante solicitações com desempenho semelhante aos modelos mais caros e apenas encaminhar para modelos caros quando necessário”, acrescentaram. “O roteador modelo indexa novos modelos à medida que são lançados, incorporando-os em aplicações com zero atrito ou necessidade de trabalho manual.”
Agora, o modelo de roteador de Marte não é uma tecnologia nova. Pelo menos uma outra startup, Credal, fornece uma ferramenta de troca automática de modelo. Portanto, o seu aumento dependerá da competitividade dos preços da Martian – e da sua capacidade de fornecer resultados em cenários comerciais de alto risco.
Upadhyay e Ginsberg afirmam que já houve alguma aceitação, inclusive entre empresas “multibilionárias”.
“Construir um modelo de roteador verdadeiramente eficaz é extremamente difícil porque requer o desenvolvimento de uma compreensão de como esses modelos funcionam fundamentalmente”, disseram eles. “Essa é a inovação em que fomos pioneiros.”
