A geração de vídeo com tecnologia de IA é um mercado aquecido por trás de OpenAI lançou o modelo Sora no mês passado. Dois ex-alunos da DeepMind, Yishu Miao e Ziyu Wang, lançaram publicamente sua ferramenta de geração de vídeo Haiper com seu próprio modelo de IA por baixo.
Miao, que trabalhou anteriormente na TikTok na equipe Global Trust & Safety, e Wang, que trabalhou como cientista pesquisador para DeepMind e Google, começaram a trabalhar na empresa em 2021 e a incorporaram formalmente em 2022.
A dupla tem experiência em aprendizado de máquina e começou a trabalhar no problema de reconstrução 3D usando redes neurais. Após o treinamento em dados de vídeo, Miao mencionou ao TechCrunch em uma ligação que descobriu que a geração de vídeo era um problema mais fascinante do que a reconstrução 3D. É por isso que a Haiper acabou se concentrando na geração de vídeo há cerca de seis meses.
Haiper aumentou US$ 13,8 milhões em uma rodada inicial liderada por Polvo Ventures com participação de Capital 5 anos. Antes disso, anjos como Phil Blunsom e Nando de Freitas ajudou a empresa a levantar uma rodada de pré-lançamento de US$ 5,4 milhões em abril de 2022.
Serviço de geração de vídeo
Os usuários podem acessar o site da Haiper e começar a gerar vídeos gratuitamente digitando instruções de texto. No entanto, existem certas limitações. Você só pode gerar um vídeo HD de dois segundos e um vídeo de qualidade um pouco inferior de até quatro segundos.
Créditos da imagem: Haiper
O site também possui recursos como animar sua imagem e repintar seu vídeo em um estilo diferente. Além disso, a empresa está trabalhando para introduzir recursos como a capacidade de estender um vídeo.
Miao disse que a empresa pretende manter esses recursos gratuitos para construir uma comunidade. Ele observou que ainda é “muito cedo” na jornada da startup para pensar em construir um produto de assinatura em torno da geração de vídeo. No entanto, colaborou com empresas como JD.com para explorar casos de uso comercial.
Usamos um dos prompts originais do Sora para gerar um vídeo de amostra: “Vários mamutes gigantes e peludos se aproximam caminhando por um prado nevado, seu longo pelo lanoso sopra levemente ao vento enquanto caminham, árvores cobertas de neve e montanhas cobertas de neve dramáticas em a distância, a luz do meio da tarde com nuvens finas e um sol alto ao longe criam um brilho quente, a visão baixa da câmera é impressionante, capturando o grande mamífero peludo com uma bela fotografia e profundidade de campo.
Construindo um modelo de vídeo central
Embora a Haiper esteja atualmente focada em seu site voltado para o consumidor, ela deseja construir um modelo central de geração de vídeo que possa ser oferecido a terceiros. A empresa não divulgou detalhes sobre o modelo.
Miao disse que entrou em contato com vários desenvolvedores em particular para testar sua API fechada. Ele espera que o feedback do desenvolvedor seja muito importante para que a empresa itere o modelo rapidamente. A Haiper também pensou em abrir o código-fonte de seus modelos no futuro para permitir que as pessoas explorem diferentes casos de uso.
O CEO acredita que atualmente é importante resolver o problema do vale misterioso – um fenômeno que evoca sentimentos estranhos quando as pessoas veem figuras semelhantes a humanos geradas por IA – na geração de vídeo.
“Não estamos trabalhando para resolver problemas na área de conteúdo e estilo, mas estamos tentando trabalhar em questões fundamentais, como a aparência dos humanos gerados por IA enquanto caminham ou a neve cai”, disse ele.
A empresa tem atualmente cerca de 20 funcionários e está contratando ativamente para diversas funções em engenharia e marketing.
Competição à frente
O Sora lançado recentemente pela OpenAI é provavelmente o concorrente mais popular do Haiper no momento. No entanto, existem outros jogadores como Runway apoiada pelo Google e pela Nvidiaque arrecadou mais de US$ 230 milhões em financiamento. Google e meta também têm seus próprios modelos de geração de vídeo. No ano passado, Stability AI anunciou Modelo de vídeo de difusão estável na visualização da pesquisa.
Rebecca Hunt, sócia da Octopus Ventures, acredita que nos próximos três anos a Haiper terá que construir um modelo forte de geração de vídeo para alcançar diferenciação neste mercado.
“Na verdade, há apenas um punhado de pessoas posicionadas para conseguir isso; esta é uma das razões pelas quais queríamos apoiar a equipe Haiper. Assim que os modelos chegarem a um ponto que transcenda o vale misterioso e reflita o mundo real e toda a sua física, haverá um período em que as aplicações serão infinitas”, disse ela ao TechCrunch por e-mail.
Embora os investidores procurem investir em startups de geração de vídeo alimentadas por IA, eles também acham que a tecnologia ainda tem muito espaço para melhorias.
“Parece que o vídeo AI está no nível GPT-2. Fizemos grandes avanços no ano passado, mas ainda há um longo caminho a percorrer antes que os consumidores comuns usem esses produtos diariamente. Quando chegará o ‘momento ChatGPT’ para vídeo?” Justine Moore do a16z escreveu no ano passado.
O artigo afirmado anteriormente Geoffrey Hinton como investidor anjo. Embora Hinton tenha trabalhado com os fundadores da startup antes do início da empresa, não está envolvido como investidor.
