Posts Recentes:

Os modelos TTT podem ser a próxima fronteira na IA generativa

Após anos de domínio pela forma de IA...

The Three Pillars Of SEO: Authority, Relevance, And Experience

If there’s one thing we SEO pros are...

Google descreve novos métodos para treinar robôs com vídeo e modelos de linguagem grande


2024 será um grande ano para o corte transversal de IA generativa/grandes modelos fundamentais e robótica. Há muito entusiasmo girando em torno do potencial para diversas aplicações, desde o aprendizado até o design de produtos. Os pesquisadores DeepMind Robotics do Google são uma das várias equipes que exploram o potencial do espaço. Em uma postagem no blog hoje, a equipe está destacando pesquisas em andamento destinadas a dar à robótica uma melhor compreensão do que exatamente nós, humanos, queremos dela.

Tradicionalmente, os robôs se concentram em realizar uma tarefa única repetidamente ao longo de suas vidas. Robôs de propósito único tendem a ser muito bons nisso, mas mesmo eles enfrentam dificuldades quando alterações ou erros são introduzidos involuntariamente nos procedimentos.

O recém-anunciado AutoRT foi projetado para aproveitar grandes modelos fundamentais, para diversos fins diferentes. Num exemplo padrão dado pela equipe DeepMind, o sistema começa aproveitando um Modelo de Linguagem Visual (VLM) para melhor consciência situacional. O AutoRT é capaz de gerenciar uma frota de robôs trabalhando em conjunto e equipados com câmeras para obter um layout do ambiente e do objeto dentro dele.

Enquanto isso, um grande modelo de linguagem sugere tarefas que podem ser realizadas pelo hardware, incluindo seu efetor final. Os LLMs são entendidos por muitos como a chave para desbloquear a robótica que compreende efetivamente mais comandos de linguagem natural, reduzindo a necessidade de habilidades de codificação.

O sistema já foi testado bastante nos últimos sete meses. O AutoRT é capaz de orquestrar até 20 robôs ao mesmo tempo e um total de 52 dispositivos diferentes. Ao todo, a DeepMind coletou cerca de 77.000 testes, incluindo mais de 6.000 tarefas.

Outra novidade da equipe é o RT-Trajectory, que aproveita a entrada de vídeo para aprendizagem robótica. Muitas equipes estão explorando o uso de vídeos do YouTube como método para treinar robôs em escala, mas o RT-Trajectory adiciona uma camada interessante, sobrepondo um esboço bidimensional do braço em ação sobre o vídeo.

A equipe observa que “essas trajetórias, na forma de imagens RGB, fornecem dicas visuais práticas e de baixo nível ao modelo à medida que ele aprende suas políticas de controle do robô”.

DeepMind diz que o treinamento teve o dobro da taxa de sucesso do treinamento RT-2, de 63% em comparação com 29%, ao testar 41 tarefas.

“RT-Trajectory faz uso das ricas informações de movimento robótico que estão presentes em todos os conjuntos de dados de robôs, mas atualmente subutilizadas”, observa a equipe. “RT-Trajectory não representa apenas mais um passo no caminho para a construção de robôs capazes de se mover com precisão eficiente em situações novas, mas também desbloqueia o conhecimento de conjuntos de dados existentes.”

Últimas

Os modelos TTT podem ser a próxima fronteira na IA generativa

Após anos de domínio pela forma de IA...

The Three Pillars Of SEO: Authority, Relevance, And Experience

If there’s one thing we SEO pros are...

Pesquisa: A disparidade salarial entre gêneros no marketing de busca está aumentando

Os homens ganham em média 36% a mais...

Google reforça políticas do AdMob, reformulando regras de posicionamento de anúncios

O Google anunciou atualizações significativas em suas políticas...

Assine

spot_img

Veja Também

Os modelos TTT podem ser a próxima fronteira na IA generativa

Após anos de domínio pela forma de IA...

The Three Pillars Of SEO: Authority, Relevance, And Experience

If there’s one thing we SEO pros are...

Pesquisa: A disparidade salarial entre gêneros no marketing de busca está aumentando

Os homens ganham em média 36% a mais...

Google reforça políticas do AdMob, reformulando regras de posicionamento de anúncios

O Google anunciou atualizações significativas em suas políticas...

5 maneiras de incorporar tendências em sua estratégia de conteúdo de SEO

Os tópicos de tendência representam pontos de discussão...
spot_img

Os modelos TTT podem ser a próxima fronteira na IA generativa

Após anos de domínio pela forma de IA conhecida como transformadora caça por novas arquiteturas está aberta.Transformadores sustentam O modelo de geração de...

The Three Pillars Of SEO: Authority, Relevance, And Experience

If there’s one thing we SEO pros are good at, it’s making things complicated. That’s not necessarily a criticism. Search engine algorithms, website coding and...

Pesquisa: A disparidade salarial entre gêneros no marketing de busca está aumentando

Os homens ganham em média 36% a mais que as mulheres em marketing de busca em 2024, de acordo com uma nova pesquisa...