Posts Recentes:

OnePlus fez uma ‘pausa reflexiva’ de três anos antes de aumentar a bateria do seu smartwatch

Estamos em 2024. Todos os smartwatches devem oferecer...

PPC Facilitado: 4 Estratégias para Economizar Tempo com Ferramentas Gratuitas

Esta postagem foi patrocinada por Redesign.co. As opiniões expressas...

Google Responde a Evidências de Viés de Algoritmo em Avaliações

O Google respondeu a um pequeno editor cujo...

um modelo de linguagem multimodal para geração de vídeos


Pesquisadores do Google anunciaram a criação do VideoPoet, um poderoso modelo de linguagem multimodal capaz de gerar vídeos a partir de diversas fontes de entrada, como texto, imagens, vídeos e áudio.

O VideoPoet utiliza uma arquitetura de “transformador com decodificador”, sendo considerado um modelo zero-shot, ou seja, pode criar conteúdo para o qual não foi especificamente treinado.

O processo de treinamento do VideoPoet segue duas etapas semelhantes às de outros modelos de linguagem: pré-treinamento e adaptação específica para tarefas.

Os pesquisadores destacam que o modelo pré-treinado do VideoPoet serve como base para a realização de várias tarefas de geração de vídeo.

Uma característica diferencial do VideoPoet é sua capacidade de integrar diversas capacidades de geração de vídeo dentro de um único modelo de linguagem, dispensando a necessidade de componentes separadamente treinados para cada tarefa específica.

um modelo de linguagem multimodal para geracao de videos

O que o diferencia de outros modelos de vídeo que seguem abordagens de modelos de difusão, que adicionam ruído aos dados de treinamento e depois os reconstróem.

Com o VideoPoet, é possível realizar tarefas como geração de vídeo a partir de texto, imagem para vídeo, estilização de vídeo, preenchimento e ampliação de vídeo, bem como geração de áudio a partir de vídeos.

O VideoPoet é um modelo autorregressivo, o que significa que gera sua saída com base no que foi gerado previamente. Durante o treinamento, o VideoPoet é alimentado com dados de vídeo, texto, imagem e áudio, utilizando tokenizers para converter as informações entre as diferentes modalidades.

Os pesquisadores enfatizam o potencial promissor dos modelos de linguagem no campo da geração de vídeos e apontam para futuras direções de pesquisa, incluindo a ampliação do VideoPoet para suportar a geração “qualquer-para-qualquer”, como texto para áudio, áudio para vídeo e legendas de vídeo, entre outras possibilidades.

“Nossos resultados sugerem o potencial promissor dos LLMs na área de geração de vídeo”, disseram os pesquisadores. “Para direções futuras, nossa estrutura deve ser capaz de suportar a geração ‘qualquer para qualquer’, por exemplo, a extensão para texto para áudio, áudio para vídeo e legendas de vídeo deve ser possível, entre muitos outros.”

Últimas

OnePlus fez uma ‘pausa reflexiva’ de três anos antes de aumentar a bateria do seu smartwatch

Estamos em 2024. Todos os smartwatches devem oferecer...

PPC Facilitado: 4 Estratégias para Economizar Tempo com Ferramentas Gratuitas

Esta postagem foi patrocinada por Redesign.co. As opiniões expressas...

Google Responde a Evidências de Viés de Algoritmo em Avaliações

O Google respondeu a um pequeno editor cujo...

YouTube Analytics: Shorts, Vídeos sob Demanda e Lives Mais Lucrativos

O YouTube Analytics agora informa aos criadores o conteúdo...

Assine

[tds_leads input_placeholder="Email address" btn_horiz_align="content-horiz-center" pp_msg="SSd2ZSUyMHJlYWQlMjBhbmQlMjBhY2NlcHQlMjB0aGUlMjAlM0NhJTIwaHJlZiUzRCUyMiUyMyUyMiUzRVByaXZhY3klMjBQb2xpY3klM0MlMkZhJTNFLg==" msg_composer="" display="column" gap="10" input_padd="eyJhbGwiOiIxM3B4IDEwcHgiLCJsYW5kc2NhcGUiOiIxMnB4IDhweCIsInBvcnRyYWl0IjoiMTBweCA2cHgifQ==" input_border="1" btn_text="I want in" btn_icon_size="eyJhbGwiOiIxOSIsImxhbmRzY2FwZSI6IjE3IiwicG9ydHJhaXQiOiIxNSJ9" btn_icon_space="eyJhbGwiOiI1IiwicG9ydHJhaXQiOiIzIn0=" btn_radius="0" input_radius="0" f_msg_font_family="831" f_msg_font_size="eyJhbGwiOiIxMiIsInBvcnRyYWl0IjoiMTIifQ==" f_msg_font_weight="400" f_msg_font_line_height="1.4" f_input_font_family="831" f_input_font_size="eyJhbGwiOiIxMyIsImxhbmRzY2FwZSI6IjEzIiwicG9ydHJhaXQiOiIxMiJ9" f_input_font_line_height="1.2" f_btn_font_family="831" f_input_font_weight="400" f_btn_font_size="eyJhbGwiOiIxMiIsImxhbmRzY2FwZSI6IjEyIiwicG9ydHJhaXQiOiIxMSJ9" f_btn_font_line_height="1.2" f_btn_font_weight="400" pp_check_color="#000000" pp_check_color_a="var(--center-demo-1)" pp_check_color_a_h="var(--center-demo-2)" f_btn_font_transform="uppercase" tdc_css="eyJhbGwiOnsibWFyZ2luLWJvdHRvbSI6IjQwIiwiZGlzcGxheSI6IiJ9LCJwb3J0cmFpdCI6eyJtYXJnaW4tYm90dG9tIjoiMzAiLCJkaXNwbGF5IjoiIn0sInBvcnRyYWl0X21heF93aWR0aCI6MTAxOCwicG9ydHJhaXRfbWluX3dpZHRoIjo3Njh9" btn_bg="var(--center-demo-1)" btn_bg_h="var(--center-demo-2)" title_space="eyJwb3J0cmFpdCI6IjEyIiwibGFuZHNjYXBlIjoiMTQiLCJhbGwiOiIxOCJ9" msg_space="eyJsYW5kc2NhcGUiOiIwIDAgMTJweCJ9" btn_padd="eyJsYW5kc2NhcGUiOiIxMiIsInBvcnRyYWl0IjoiMTBweCIsImFsbCI6IjE3cHgifQ==" msg_padd="eyJwb3J0cmFpdCI6IjZweCAxMHB4In0=" msg_err_radius="0" msg_succ_bg="var(--center-demo-1)" msg_succ_radius="0" f_msg_font_spacing="0.5"]
spot_img

Veja Também

OnePlus fez uma ‘pausa reflexiva’ de três anos antes de aumentar a bateria do seu smartwatch

Estamos em 2024. Todos os smartwatches devem oferecer...

PPC Facilitado: 4 Estratégias para Economizar Tempo com Ferramentas Gratuitas

Esta postagem foi patrocinada por Redesign.co. As opiniões expressas...

Google Responde a Evidências de Viés de Algoritmo em Avaliações

O Google respondeu a um pequeno editor cujo...

YouTube Analytics: Shorts, Vídeos sob Demanda e Lives Mais Lucrativos

O YouTube Analytics agora informa aos criadores o conteúdo...

Como Criar um Tipo de Postagem Personalizado no WordPress

WordPress é um poderoso sistema de gerenciamento de...
spot_img

OnePlus fez uma ‘pausa reflexiva’ de três anos antes de aumentar a bateria do seu smartwatch

Estamos em 2024. Todos os smartwatches devem oferecer vários dias de duração da bateria, ponto final. Do jeito que as coisas estão...

PPC Facilitado: 4 Estratégias para Economizar Tempo com Ferramentas Gratuitas

Esta postagem foi patrocinada por Redesign.co. As opiniões expressas neste artigo são de responsabilidade do patrocinador.Cansado de gastar demais em ferramentas PPC que fornecem...

Google Responde a Evidências de Viés de Algoritmo em Avaliações

O Google respondeu a um pequeno editor cujo artigo ofereceu um passo a passo de como os grandes editores corporativos estão manipulando o...