Os pesquisadores usaram o sistema, chamado LucidSim, para treinar um cão-robô no parkour, fazendo-o subir uma caixa e subir escadas, mesmo sem nunca ter visto nenhum dado do mundo actual. A abordagem demonstra como a IA generativa pode ser útil quando se trata de ensinar robôs a realizar tarefas desafiadoras. Também levanta a possibilidade de podermos treiná-los em mundos inteiramente virtuais. O pesquisar foi apresentado na Conferência sobre Aprendizagem de Robôs (CoRL) na semana passada.
“Estamos no meio de uma revolução industrial para a robótica”, diz Ge Yang, pós-doutorado no Laboratório de Ciência da Computação e Inteligência Synthetic do MIT, que trabalhou no projeto. “Esta é a nossa tentativa de compreender o impacto destes modelos (IA generativa) fora dos seus propósitos originais pretendidos, com a esperança de que isso nos leve à próxima geração de ferramentas e modelos.”
LucidSim usa uma combinação de modelos generativos de IA para criar os dados de treinamento visible. Primeiro, os pesquisadores geraram milhares de prompts para o ChatGPT, fazendo com que ele criasse descrições de uma série de ambientes que representam as condições que o robô encontraria no mundo actual, incluindo diferentes tipos de clima, horários do dia e condições de iluminação. Estes incluíam “um antigo beco repleto de casas de chá e pequenas lojas pitorescas, cada uma exibindo ornamentos e caligrafia tradicionais” e “o sol ilumina um gramado um tanto mal cuidado, pontilhado de manchas secas”.
Essas descrições foram alimentadas em um sistema que mapeia dados de geometria e física 3D em imagens geradas por IA, criando vídeos curtos mapeando uma trajetória a ser seguida pelo robô. O robô utiliza essas informações para calcular a altura, largura e profundidade das coisas pelas quais precisa navegar – uma caixa ou um conjunto de escadas, por exemplo.
Os pesquisadores testaram o LucidSim instruindo um robô de quatro patas equipado com uma webcam para completar diversas tarefas, incluindo localizar um cone de trânsito ou uma bola de futebol, subir uma caixa e subir e descer escadas. O robô teve um desempenho consistentemente melhor do que quando executou um sistema treinado em simulações tradicionais. Em 20 tentativas para localizar o cone, o LucidSim teve uma taxa de sucesso de 100%, contra 70% para sistemas treinados em simulações padrão. Da mesma forma, o LucidSim alcançou a bola de futebol em outras 20 tentativas, 85% das vezes, e apenas 35% para o outro sistema.
Finalmente, quando o robô estava executando o LucidSim, ele completou com sucesso todos os 10 testes de subir escadas, em comparação com apenas 50% do outro sistema.
CORTESIA DO MIT CSAIL
É provável que esses resultados melhorem ainda mais no futuro se o LucidSim se basear diretamente em modelos de vídeo generativos sofisticados, em vez de uma combinação manipulada de modelos de linguagem, imagem e física, diz Phillip Isola, professor associado do MIT que trabalhou na pesquisa. .
A abordagem dos investigadores à utilização da IA generativa é inovadora e abrirá caminho para novas pesquisas mais interessantes, diz Mahi Shafiullah, estudante de doutoramento na Universidade de Nova Iorque que está a utilizar Modelos de IA para treinar robôs. Ele não trabalhou no projeto.