[A version of this piece first appeared in TechCrunch’s robotics newsletter, Actuator. Subscribe here.]
No início deste mês, a equipe DeepMind do Google estreou Open X-Embodiment, um banco de dados de funcionalidades robóticas criado em colaboração com 33 institutos de pesquisa. Os pesquisadores envolvidos compararam o sistema ao ImageNet, o banco de dados histórico fundado em 2009 que hoje abriga mais de 14 milhões de imagens.
“Assim uma vez que a ImageNet impulsionou a pesquisa de visão computacional, acreditamos que o Open X-Embodiment pode fazer o mesmo para o progresso da robótica”, observaram os pesquisadores Quan Vuong e Pannag Sanketi na estação. “Erigir um conjunto de dados de diversas demonstrações de robôs é o passo chave para treinar um protótipo generalista que pode controlar muitos tipos diferentes de robôs, seguir diversas instruções, realizar raciocínios básicos sobre tarefas complexas e generalizar de forma eficiente.”
No momento do seu pregão, o Open X-Embodiment continha mais de 500 habilidades e 150.000 tarefas coletadas de 22 encarnações de robôs. Não são exatamente os números do ImageNet, mas é um bom prelúdios. A DeepMind logo treinou seu protótipo RT-1-X com base nos dados e o usou para treinar robôs em outros laboratórios, relatando uma taxa de sucesso de 50% em confrontação com os métodos internos que as equipes desenvolveram.
Provavelmente já repeti isso dezenas de vezes nestas páginas, mas é realmente um momento emocionante para o tirocínio robótico. Conversei com muitas equipes que abordam o problema de diferentes ângulos, com eficiência cada vez maior. O reinado do robô personalizado está longe de terminar, mas certamente parece que estamos vislumbrando um mundo onde o robô de uso universal é uma possibilidade distinta.
A simulação será, sem incerteza, uma grande secção da equação, juntamente com a IA (incluindo a variedade generativa). Ainda parece que algumas empresas colocaram os cavalos na frente da carroça cá quando se trata de erigir hardware para tarefas gerais, mas daqui a alguns anos, quem sabe?
Vincent Vanhoucke é alguém que venho tentando definir há qualquer tempo. Se eu estivesse disponível, ele não estava. Navios durante a noite e tudo mais. Felizmente, finalmente conseguimos fazer funcionar no final da semana passada.
Vanhoucke é novo no missão de director de robótica do Google DeepMind, tendo assumido o missão em maio. No entanto, ele trabalha na empresa há mais de 16 anos, mais recentemente atuando uma vez que um exímio investigador da Google AI Robotics. No universal, ele pode muito muito ser a melhor pessoa com quem conversar sobre as ambições robóticas do Google e uma vez que elas chegaram até cá.
Créditos da imagem: Google
Em que ponto da história da DeepMind a equipe de robótica se desenvolveu?
Eu originalmente não estava do lado da murado do DeepMind. Eu fazia secção da pesquisa do Google. Recentemente nos fundimos com os esforços da DeepMind. Portanto, de certa forma, meu envolvimento com a DeepMind é extremamente recente. Mas há uma história mais longa de pesquisa em robótica acontecendo no Google DeepMind. Tudo começou com a visão crescente de que a tecnologia de percepção estava se tornando muito, muito boa.
Grande secção da visão computacional, do processamento de áudio e de todas essas coisas estava realmente virando a esquina e se tornando quase humana. Começamos a nos perguntar: “Tudo muito, supondo que isso continue nos próximos anos, quais são as consequências disso?” Uma consequência clara foi que, de repente, ter a robótica em um envolvente do mundo real se tornaria uma possibilidade real. Ser capaz de realmente evoluir e executar tarefas em um envolvente cotidiano dependia inteiramente de uma percepção muito, muito poderoso. Inicialmente, eu estava trabalhando em IA universal e visão computacional. Também trabalhei com reconhecimento de fala no pretérito. Eu vi o que estava escrito na parede e decidi mudar para o uso da robótica uma vez que o próximo estágio de nossa pesquisa.
Meu entendimento é que muitos membros da equipe do Everyday Robots acabaram nessa equipe. A história do Google com a robótica remonta significativamente mais longe. Já se passaram 10 anos desde que a Alphabet fez todas essas aquisições [Boston Dynamics, etc.]. Parece que muitas pessoas dessas empresas integraram a equipe de robótica existente do Google.
Há uma fração significativa da equipe que passou por essas aquisições. Foi antes da minha estação – eu estava realmente envolvido com visão computacional e reconhecimento de fala, mas ainda temos muitas dessas pessoas. Cada vez mais chegamos à peroração de que todo o problema da robótica estava incluído no problema universal da IA. Resolver realmente a secção da perceptibilidade foi o principal facilitador de qualquer processo significativo na robótica do mundo real. Mudamos muitos de nossos esforços para resolver que a percepção, a compreensão e o controle no contexto da IA universal seriam o problema importante a ser resolvido.
Parecia que muito do trabalho que a Everyday Robots estava fazendo tocava na IA universal ou na IA generativa. O trabalho que a equipe estava realizando está sendo transferido para a equipe de robótica da DeepMind?
Já colaboramos com a Everyday Robots há, quero manifestar, sete anos. Apesar de sermos duas equipes separadas, temos conexões muito, muito profundas. Na verdade, uma das coisas que nos levou a realmente iniciar a olhar para a robótica na estação foi uma colaboração que era uma espécie de projeto skunkworks com a equipe Everyday Robots, onde por eventualidade eles tinham vários braços robóticos espalhados que tinham foi interrompido. Eram uma geração de armas que levou a uma novidade geração e estavam simplesmente por aí, sem fazer zero.
Decidimos que seria risonho pegar aqueles braços, colocá-los todos numa sala e fazê-los praticar e aprender a catrafilar objetos. A própria noção de aprender um problema de consumição não estava no zeitgeist da estação. A teoria de usar o tirocínio de máquina e a percepção uma vez que forma de controlar a consumição robótica não foi um tanto que havia sido explorado. Quando os braços tiveram sucesso, demos-lhes uma recompensa e, quando falharam, demos-lhes um sinal negativo.
Pela primeira vez, utilizamos tirocínio de máquina e essencialmente resolvemos esse problema de compreensão generalizada, usando tirocínio de máquina e IA. Esse foi um momento luminoso na estação. Realmente havia um tanto novo ali. Isso desencadeou as investigações com Everyday Robots em torno do foco no tirocínio de máquina uma vez que forma de controlar esses robôs. E também, do lado da pesquisa, promover muito mais a robótica uma vez que um problema interessante para utilizar todas as técnicas de aprendizagem profunda de IA que conseguimos trabalhar tão muito em outras áreas.
Créditos da imagem: DeepMind
O Everyday Robots foi absorvido pela sua equipe?
Uma fração da equipe foi absorvida pela minha equipe. Herdamos seus robôs e ainda os usamos. Até o momento, continuamos a desenvolver a tecnologia em que eles realmente foram pioneiros e na qual estavam trabalhando. Todo o ímpeto continua vivo com um foco ligeiramente dissemelhante do que foi originalmente imaginado pela equipe. Estamos realmente nos concentrando muito mais na secção da perceptibilidade do que na construção do robô.
Você mencionou que a equipe mudou-se para os escritórios da Alphabet X. Existe um tanto mais profundo aí, no que diz saudação à colaboração entre equipes e ao compartilhamento de recursos?
É uma decisão muito pragmática. Eles têm bom Wi-Fi, boa potência e muito espaço.
Espero que todos os edifícios do Google tenham um bom Wi-Fi.
Você espera que sim, perceptível? Mas foi uma decisão muito prosaica de nos mudarmos para cá. Devo manifestar que grande secção da decisão foi que eles tivessem um bom moca cá. Nosso escritório anterior não tinha comida tão boa e as pessoas estavam começando a reclamar. Não há nenhuma agenda oculta aí. Gostamos de trabalhar em estreita colaboração com o resto do X. Acho que há muitas sinergias aí. Eles têm roboticistas realmente talentosos trabalhando em vários projetos. Temos colaborações com a Intrinsic que gostamos de cultivar. Faz muito sentido estarmos cá e é um prédio lindo.
Há uma certa sobreposição com o Intrinsic, em termos do que eles estão fazendo com sua plataforma – coisas uma vez que robótica sem código e tirocínio robótico. Eles se sobrepõem à IA universal e generativa.
É interessante uma vez que a robótica evoluiu em cada esquina, sendo muito personalizada e assumindo um conjunto muito dissemelhante de conhecimentos e habilidades. Em grande medida, a jornada em que estamos é tentar fazer com que a robótica de uso universal aconteça, seja ela aplicada a um envolvente industrial ou mais doméstico. Os princípios por trás disso, impulsionados por um núcleo de IA muito poderoso, são muito semelhantes. Estamos realmente indo além ao tentar explorar uma vez que podemos oferecer suporte a um espaço de aplicativos o mais espaçoso provável. Isso é novo e emocionante. É muito verdejante. Há muito para explorar no espaço.
Paladar de perguntar às pessoas até que ponto acham que estamos longe de um tanto que podemos razoavelmente invocar de robótica de uso universal.
Há uma pequena nuance na definição de robótica de uso universal. Estamos realmente focados em métodos de uso universal. Alguns métodos podem ser aplicados a robôs industriais ou domésticos ou a robôs de lajeada, com todas essas diferentes modalidades e formatos. Não estamos baseados na existência de uma incorporação de uso universal que faça tudo por você, mais do que se você tivesse uma incorporação que fosse muito personalizada para o seu problema. Está muito. Podemos ajustá-lo rapidamente para resolver o problema que você tem, especificamente. Portanto, esta é uma grande questão: os robôs de uso universal acontecerão? Isso é um tanto sobre o qual muitas pessoas estão lançando hipóteses, se e quando isso acontecerá.
Até agora tem havido mais sucesso com robôs sob medida. Acho que, até perceptível ponto, a tecnologia não existe para permitir a existência de mais robôs de uso universal. Se é para lá que o modo de negócios nos levará é uma boa questão. Não creio que essa pergunta possa ser respondida até que tenhamos mais crédito na tecnologia por trás dela. É isso que estamos dirigindo agora. Estamos vendo mais sinais de vida – que abordagens muito gerais que não dependem de uma encarnação específica são plausíveis. A última coisa que fizemos foi oriente projeto RTX. Fomos a vários laboratórios acadêmicos — acho que temos 30 parceiros diferentes agora — e pedimos para examinar suas tarefas e os dados que coletaram. Vamos colocar isso em um repositório generalidade de dados e treinar um protótipo grande sobre ele e ver o que acontece.
Créditos da imagem: DeepMind
Qual será o papel da IA generativa na robótica?
Acho que vai ser muito meão. Houve essa grande revolução no protótipo de linguagem. Todos começaram a perguntar se poderíamos usar muitos modelos de linguagem para robôs, e acho que poderia ter sido muito superficial. Você sabe, “Vamos pegar a voga do dia e deslindar o que podemos fazer com ela”, mas acabou sendo extremamente profundo. A razão para isso é que, se você pensar muito, os modelos de linguagem não têm realmente a ver com a linguagem. Eles tratam do raciocínio de bom tino e da compreensão do mundo cotidiano. Portanto, se um protótipo de linguagem grande sabe que você está procurando uma xícara de moca, provavelmente poderá encontrá-la no armário da cozinha ou na mesa.
Colocar uma xícara de moca na mesa faz sentido. Colocar uma mesa em cima de uma xícara de moca não faz sentido. São fatos simples uma vez que esses que você realmente não pensa, porque são completamente óbvios para você. Sempre foi muito difícil enviar isso a um sistema incorporado. O conhecimento é muito, muito difícil de codificar, enquanto esses grandes modelos de linguagem possuem esse conhecimento e o codificam de uma forma muito atingível e que podemos usar. Portanto, conseguimos pegar esse raciocínio de bom tino e aplicá-lo ao planejamento de robôs. Conseguimos aplicá-lo a interações de robôs, manipulações, interações humano-robô, e ter um agente que tenha esse bom tino e possa raciocinar sobre coisas em um envolvente simulado, juntamente com a percepção, é realmente meão para o problema da robótica.
As diversas tarefas que Gato aprendeu a realizar.
A simulação é provavelmente uma grande secção da coleta de dados para estudo.
Sim. É um substância para isso. O repto da simulação é que você precisa preencher a vazio entre a simulação e a veras. As simulações são uma aproximação da veras. Pode ser muito difícil fazer um tanto muito preciso e que reflita muito a veras. A física de um simulador tem que ser boa. A representação visual da veras nessa simulação tem que ser muito boa. Na verdade, esta é outra superfície onde a IA generativa está começando a deixar sua marca. Você pode imaginar que, em vez de realmente ter que executar um simulador de física, você somente gera usando a geração de imagens ou qualquer tipo de protótipo generativo.
Tye Brady recentemente me disse A Amazon está usando simulação para gerar pacotes.
Isso faz muito sentido. E daqui para frente, acho que além de somente gerar ativos, você pode imaginar a geração de futuros. Imagine o que aconteceria se o robô fizesse uma ação? E verificar se ele está realmente fazendo o que você queria e usar isso uma vez que forma de planejar o horizonte. É uma vez que se o robô sonhasse, usando modelos generativos, em vez de ter que fazer isso no mundo real.
