É uma verdade universal da natureza humana que os desenvolvedores que constroem o código não devem ser os únicos a testá-lo. Em primeiro lugar, a maioria deles detesta essa tarefa. Em segundo lugar, como qualquer bom protocolo de auditoria, aqueles que fazem o trabalho não devem ser aqueles que o verificam.
Não é de surpreender, então, que os testes de código em todas as suas formas – usabilidade, testes específicos de linguagem ou tarefa, testes ponta a ponta – tenham sido o foco de um grupo crescente de startups de IA generativa. Toda semana, o TechCrunch cobre outro como Antítese (arrecadou US$ 47 milhões), CodiumAI (arrecadado US$ 11 milhões) e QA Wolf (arrecadado $ 20 milhões). E novos estão surgindo o tempo todo, como o novo graduado do Y Combinator Momentâneo.
Outra é uma startup de um ano Nova IA, um graduado em aceleradora da Unusual Academy que arrecadou uma rodada pré-semente de US$ 1 milhão. Ela está tentando superar seus concorrentes com suas ferramentas de teste ponta a ponta, quebrando muitas das regras do Vale do Silício sobre como as startups devem operar, disse o fundador/CEO Zach Smith ao TechCrunch.
Enquanto a abordagem padrão do Y Combinator é começar pequeno, a Nova AI visa empresas de médio a grande porte com bases de código complexas e uma necessidade urgente agora. Smith se recusou a nomear quaisquer clientes que usam ou testam seu produto, exceto para descrevê-los como, em sua maioria, startups apoiadas por capital de risco em estágio final (Série C ou superior) em comércio eletrônico, fintech ou produtos de consumo, e “experiências de usuário intensas”. O tempo de inatividade para esses recursos é caro.”
A tecnologia da Nova AI analisa o código de seus clientes para criar testes automaticamente usando GenAI. Ele é particularmente voltado para ambientes de integração contínua e entrega/implantação contínua (CI/CD), onde os engenheiros estão constantemente enviando pedaços em seu código de produção.
A ideia da Nova AI veio das experiências que Smith e seu cofundador Jeffrey Shih tiveram quando eram engenheiros trabalhando para grandes empresas de tecnologia. Smith é um ex-Googler que trabalhou em equipes relacionadas à nuvem que ajudaram os clientes a usar muitas tecnologias de automação. Shih trabalhou anteriormente na Meta (também na Unity e na Microsoft antes disso) com uma rara especialidade em IA envolvendo dados sintéticos. Desde então, eles adicionaram um terceiro cofundador, cientista de dados de IA Henrique Li.
Outra regra que a Nova AI não está seguindo: enquanto muitas startups de IA estão se baseando no GPT líder do setor da OpenAI, a Nova AI está usando o Chat GPT-4 da OpenAI o mínimo possível. Nenhum dado do cliente está sendo alimentado ao OpenAI.
Embora a OpenAI prometa que os dados daqueles em um plano de negócios pago não está sendo usado para treinar seus modelos, as empresas ainda não confiam na OpenAI, diz Smith. “Quando falamos com grandes empresas, elas dizem: 'Não queremos que nossos dados vão para OpenAI”, disse Smith.
As equipes de engenharia das grandes empresas não são as únicas que pensam assim. OpenAI está defendendo uma série de ações judiciais daqueles que não querem que o seu trabalho seja utilizado para formação de modelo, ou acreditam que o seu trabalho acabou, não autorizado e não remunerado, nos seus resultados.
Em vez disso, a Nova AI depende fortemente de modelos de código aberto como o Llama desenvolvido pela Meta e StarCoder (da comunidade BigCoder, desenvolvida pela ServiceNow e Hugging Face), além de construir seus próprios modelos. Eles ainda não estão usando o Gemma do Google com os clientes, mas o testaram e “obtiveram bons resultados”, diz Smith.
Por exemplo, ele explica que OpenAI oferece modelos para incorporação de vetores. Os embeddings vetoriais traduzem pedaços de texto em números para que o LLM possa realizar várias operações, como agrupá-los com outros pedaços de texto semelhante. A Nova AI não usa embeddings do OpenAI e, em vez disso, usa código aberto para isso no código-fonte do cliente. Ele usa OpenAI ferramentas apenas para ajudá-lo a gerar algum código e realizar algumas tarefas de rotulagem, e é fazendo de tudo para não enviar nenhum dado do cliente para o OpenAI.
“Nesse caso, em vez de usar os modelos de incorporação da OpenAI, implantamos nossos próprios modelos de incorporação de código aberto para que, quando precisarmos executar cada arquivo, não os enviemos apenas para a OpenAI”, explicou Smith.
Embora não enviar dados de clientes para OpenAI acalme as empresas nervosas, os modelos de IA de código aberto também são mais baratos e mais do que suficientes para realizar tarefas específicas direcionadas, descobriu Smith. Nesse caso, eles funcionam bem para escrever testes.
“A indústria aberta de LLM está realmente provando que pode vencer o GPT 4 e esses grandes provedores de domínio, quando você vai realmente de perto”, disse ele. “Não precisamos fornecer um modelo enorme que possa dizer o que sua avó quer de aniversário. Certo? Precisamos escrever um teste. E é isso. Portanto, nossos modelos são ajustados especificamente para isso.”
Os modelos de código aberto também estão progredindo rapidamente. Por exemplo, Meta introduziu recentemente uma nova versão do Llama que está ganhando elogios nos círculos tecnológicos e isso pode convencer mais startups de IA a procurar alternativas OpenAI.
