Posts Recentes:

Google responde a evidências de viés no algoritmo de avaliações

O Google respondeu às evidências de viés no...

TV 4K TCL QLED de 50 pol. com Google TV pelo menor preço histórico na Amazon

Está procurando uma TV 4K sem gastar muito?...

Mulheres na IA: Krystal Kauffman, pesquisadora do Distributed AI Research Institute

Para dar às mulheres acadêmicas e outras pessoas...

Google descreve novos métodos para treinar robôs com vídeo e modelos de linguagem grande


2024 será um grande ano para o corte transversal de IA generativa/grandes modelos fundamentais e robótica. Há muito entusiasmo girando em torno do potencial para diversas aplicações, desde o aprendizado até o design de produtos. Os pesquisadores DeepMind Robotics do Google são uma das várias equipes que exploram o potencial do espaço. Em uma postagem no blog hoje, a equipe está destacando pesquisas em andamento destinadas a dar à robótica uma melhor compreensão do que exatamente nós, humanos, queremos dela.

Tradicionalmente, os robôs se concentram em realizar uma tarefa única repetidamente ao longo de suas vidas. Robôs de propósito único tendem a ser muito bons nisso, mas mesmo eles enfrentam dificuldades quando alterações ou erros são introduzidos involuntariamente nos procedimentos.

O recém-anunciado AutoRT foi projetado para aproveitar grandes modelos fundamentais, para diversos fins diferentes. Num exemplo padrão dado pela equipe DeepMind, o sistema começa aproveitando um Modelo de Linguagem Visual (VLM) para melhor consciência situacional. O AutoRT é capaz de gerenciar uma frota de robôs trabalhando em conjunto e equipados com câmeras para obter um layout do ambiente e do objeto dentro dele.

Enquanto isso, um grande modelo de linguagem sugere tarefas que podem ser realizadas pelo hardware, incluindo seu efetor final. Os LLMs são entendidos por muitos como a chave para desbloquear a robótica que compreende efetivamente mais comandos de linguagem natural, reduzindo a necessidade de habilidades de codificação.

O sistema já foi testado bastante nos últimos sete meses. O AutoRT é capaz de orquestrar até 20 robôs ao mesmo tempo e um total de 52 dispositivos diferentes. Ao todo, a DeepMind coletou cerca de 77.000 testes, incluindo mais de 6.000 tarefas.

Outra novidade da equipe é o RT-Trajectory, que aproveita a entrada de vídeo para aprendizagem robótica. Muitas equipes estão explorando o uso de vídeos do YouTube como método para treinar robôs em escala, mas o RT-Trajectory adiciona uma camada interessante, sobrepondo um esboço bidimensional do braço em ação sobre o vídeo.

A equipe observa que “essas trajetórias, na forma de imagens RGB, fornecem dicas visuais práticas e de baixo nível ao modelo à medida que ele aprende suas políticas de controle do robô”.

DeepMind diz que o treinamento teve o dobro da taxa de sucesso do treinamento RT-2, de 63% em comparação com 29%, ao testar 41 tarefas.

“RT-Trajectory faz uso das ricas informações de movimento robótico que estão presentes em todos os conjuntos de dados de robôs, mas atualmente subutilizadas”, observa a equipe. “RT-Trajectory não representa apenas mais um passo no caminho para a construção de robôs capazes de se mover com precisão eficiente em situações novas, mas também desbloqueia o conhecimento de conjuntos de dados existentes.”

Últimas

Google responde a evidências de viés no algoritmo de avaliações

O Google respondeu às evidências de viés no...

TV 4K TCL QLED de 50 pol. com Google TV pelo menor preço histórico na Amazon

Está procurando uma TV 4K sem gastar muito?...

Mulheres na IA: Krystal Kauffman, pesquisadora do Distributed AI Research Institute

Para dar às mulheres acadêmicas e outras pessoas...

Adobe adiciona novos recursos de AI Assistant aos aplicativos Acrobat e Reader PDF

A Adobe está levando a experiência de uso...

Assine

spot_img

Veja Também

Google responde a evidências de viés no algoritmo de avaliações

O Google respondeu às evidências de viés no...

TV 4K TCL QLED de 50 pol. com Google TV pelo menor preço histórico na Amazon

Está procurando uma TV 4K sem gastar muito?...

Mulheres na IA: Krystal Kauffman, pesquisadora do Distributed AI Research Institute

Para dar às mulheres acadêmicas e outras pessoas...

Adobe adiciona novos recursos de AI Assistant aos aplicativos Acrobat e Reader PDF

A Adobe está levando a experiência de uso...

Alterar o assistente padrão no Android desabilita o Circle to Search

O Google lançou o recurso Circle to Search...
spot_img

Google responde a evidências de viés no algoritmo de avaliações

O Google respondeu às evidências de viés no algoritmo de avaliações após ser exposto a críticas.Um artigo revelou como grandes editoras estariam...

TV 4K TCL QLED de 50 pol. com Google TV pelo menor preço histórico na Amazon

Está procurando uma TV 4K sem gastar muito? Então não perca a super oferta da Amazon na TCL QLED TV 4K de 50...

Mulheres na IA: Krystal Kauffman, pesquisadora do Distributed AI Research Institute

Para dar às mulheres acadêmicas e outras pessoas focadas em IA o merecido - e devido - tempo de destaque, o TechCrunch está...