Como os robôs podem adquirir habilidades por meio de interações com o mundo físico? Uma entrevista com Jiaheng Hu

Um dos principais desafios na construção de robôs para ambientes domésticos ou industriais é a necessidade de dominar o controle de sistemas com alto grau de liberdade, como manipuladores móveis. A aprendizagem por reforço tem sido um caminho promissor para a aquisição de políticas de controle de robôs; no entanto, a escala para sistemas complexos tem se mostrado complicada. Em seu trabalho SLAC: Espaço de ação latente pré-treinado por simulação para RL de corpo inteiro no mundo actual, Jiaheng Hu, Peter Stone e Roberto Martín-Martín introduzir um método que torne viável a aprendizagem por reforço no mundo actual para modalidades complexas. Conversamos com Jiaheng para saber mais.

Qual é o tema da pesquisa em seu artigo e por que é uma área interessante para estudo?

Este artigo é sobre como os robôs (em specific, robôs domésticos, como manipuladores móveis) podem adquirir habilidades de forma autônoma por meio da interação. com o mundo físico (ou seja, aprendizagem por reforço no mundo actual). A aprendizagem por reforço (RL) é uma estrutura de aprendizagem geral para aprender a partir da interação de tentativa e erro com um ambiente e tem um enorme potencial para permitir que robôs aprendam tarefas sem que humanos projetem manualmente a solução. RL para robótica é um campo muito interessante, pois pode abrir possibilidades para que os robôs se auto-aperfeiçoem de forma escalonável, rumo à criação de robôs domésticos de uso geral que possam ajudar as pessoas em nossas vidas cotidianas.

Quais foram alguns dos problemas dos métodos anteriores que seu artigo estava tentando resolver?

Anteriormente, a maioria das aplicações bem-sucedidas de RL à robótica eram feitas por meio de treinamento inteiramente em simulação e, em seguida, implantando a política diretamente no mundo actual (ou seja, zero-shot sim2real). No entanto, esse método tem grandes limitações: por um lado, não é muito escalonável, pois é necessário criar ambientes de simulação de alta fidelidade e específicos para tarefas que correspondam perfeitamente ao ambiente do mundo actual no qual você deseja implantar o robô, e isso muitas vezes pode levar dias ou meses para cada tarefa. Por outro lado, algumas tarefas são realmente muito difíceis de simular, pois envolvem objetos deformáveis ​​e interações ricas em contato (por exemplo, derramar água, dobrar roupas, limpar quadro branco). Para essas tarefas, a simulação costuma ser bem diferente do mundo actual. É aqui que entra em jogo a RL do mundo actual: se pudermos permitir que um robô aprenda interagindo diretamente com o mundo físico, não precisaremos mais de um simulador. No entanto, embora tenham sido feitas várias tentativas para realizar a RL no mundo actual, é na verdade um problema muito difícil, uma vez que: 1. Ineficiência da amostra: a RL requer muitas amostras (ou seja, interacção com o ambiente) para aprender o bom comportamento, o que muitas vezes é impossível de recolher em grandes quantidades no mundo actual. 2. Questões de segurança: RL requer exploração, e a exploração aleatória no mundo actual é muitas vezes muito perigosa. O robô pode quebrar-se e nunca será capaz de se recuperar disso.

Você poderia nos contar sobre o método (SLAC) que você introduziu?

Portanto, criar simulações de alta fidelidade é muito difícil, e aprender diretamente no mundo actual também é muito difícil. O que devemos fazer? A ideia chave do SLAC é que podemos usar um ambiente de simulação de baixa fidelidade para auxiliar subsequentes RL do mundo actual. Especificamente, o SLAC implementa esta ideia em um processo de duas etapas: na primeira etapa, o SLAC aprende um espaço de ação latente na simulação por meio de aprendizagem por reforço não supervisionado. RL não supervisionado é uma técnica que permite ao robô explorar um determinado ambiente e aprender comportamentos independentes de tarefas. No SLAC, criamos um objetivo especial de RL não supervisionado que incentiva esses comportamentos a serem seguro e estruturado.

Na segunda etapa, tratamos esses comportamentos aprendidos como o novo espaço de ação do robô, onde o robô realiza RL do mundo actual para tarefas posteriores, como limpar quadros brancos ao tomar decisões neste novo espaço de ação. É importante ressaltar que este método nos permite contornar os dois maiores problemas da RL do mundo actual: não precisamos nos preocupar com questões de segurança, uma vez que o novo espaço de ação é pré-treinado para estar sempre seguro; e podemos aprender de uma forma eficiente em termos de amostra porque nosso novo espaço de ação é treinado para ser muito estruturado.

O robô realizando a tarefa de limpar um quadro branco.

Como você testou e avaliou seu método e quais foram alguns dos principais resultados?

Testamos nossos métodos em um robô Tiago actual – uma manipulação móvel bimanual e com alto grau de liberdade, em uma série de tarefas muito desafiadoras do mundo actual, incluindo limpar um grande quadro branco, limpar uma mesa e varrer o lixo para um saco. Essas tarefas são desafiadoras sob três aspectos: 1. São tarefas visuo-motoras que requerem processamento de informações de imagens de alta dimensão. 2. Eles exigem o movimento de todo o corpo do robô (ou seja, controlar muitos graus de liberdade ao mesmo tempo) e 3. Eles são ricos em contato, o que torna difícil simular com precisão. Em todas essas tarefas, nosso método nos permite aprender políticas de alto desempenho (taxa de sucesso superior a 80%) em uma hora de interações no mundo actual. Em comparação, os métodos anteriores simplesmente não conseguem resolver a tarefa e muitas vezes correm o risco de quebrar o robô. Então, para resumir, anteriormente simplesmente não period possível resolver essas tarefas por meio de RL do mundo actual, e nosso método tornou isso possível.

Quais são seus planos para trabalhos futuros?

Acho que ainda há muito mais a fazer na intersecção entre RL e robótica. Meu objetivo ultimate é criar robôs verdadeiramente auto-aperfeiçoados que possam aprender inteiramente por si mesmos, sem qualquer envolvimento humano. Mais recentemente, tenho me interessado em saber como podemos aproveitar modelos básicos, como modelos de linguagem de visão (VLMs) e modelos de linguagem de visão e ação (VLAs), para automatizar ainda mais o ciclo de autoaperfeiçoamento.

Sobre Jiaheng

Jiaheng Hu é estudante de doutorado do 4º ano na UT-Austin, co-orientado pelo Prof. Peter Stone e pelo Prof. Roberto Martín-Martín. Seu interesse de pesquisa está em Robotic Studying e Reinforcement Studying, com o objetivo de longo prazo de desenvolver robôs auto-aperfeiçoados que possam aprender e se adaptar de forma autônoma em ambientes não estruturados. O trabalho de Jiaheng foi publicado em locais de robótica e ML de alto nível, incluindo CoRL, NeurIPS, RSS e ICRA, e ganhou várias indicações e prêmios de melhor artigo. Durante seu doutorado, ele estagiou no Google DeepMind e Ai2 e recebeu a bolsa de doutorado Two Sigma.

Leia a obra na íntegra

SLAC: Espaço de ação latente pré-treinado por simulação para RL de corpo inteiro no mundo actual, Jiaheng Hu, Peter Stone, Roberto Martín-Martín.