A estudante de pós-graduação Dian Li trabalhando com uma mão robótica. Crédito: Melanie Gonick.
Por Jennifer Chu
Na próxima vez que você estiver navegando no telefone, reserve um momento para apreciar a façanha: o ato aparentemente mundano é possível graças à coordenação de 34 músculos, 27 articulações e mais de 100 tendões e ligamentos em sua mão. Na verdade, nossas mãos são as partes mais ágeis do nosso corpo. Imitar seus gestos com muitas nuances tem sido um desafio de longa information na robótica e na realidade digital.
Agora, os engenheiros do MIT desenvolveram uma pulseira de ultrassom que rastreia com precisão os movimentos das mãos do usuário em tempo actual. A pulseira produz imagens de ultrassom dos músculos, tendões e ligamentos do pulso à medida que a mão se transfer e é combinada com um algoritmo de inteligência synthetic que traduz continuamente as imagens nas posições correspondentes dos cinco dedos e da palma.
Os pesquisadores podem treinar a pulseira para aprender os movimentos da mão do usuário, que o dispositivo pode comunicar em tempo actual a um robô ou ambiente digital.
Nas demonstrações, a equipe mostrou que uma pessoa que usa a pulseira pode controlar uma mão robótica sem fio. À medida que a pessoa gesticula ou aponta, o robô faz o mesmo. Em uma espécie de interação de marionete sem fio, o usuário pode manipular o robô para tocar uma música simples no piano e atirar uma pequena bola de basquete em um aro de mesa. Com a mesma pulseira, o usuário também pode manipular objetos na tela do computador, por exemplo, juntando os dedos para ampliar e minimizar um objeto digital.
A equipe está usando a pulseira para coletar dados de movimentos das mãos de muito mais usuários com diferentes tamanhos de mãos, formatos de dedos e gestos. Eles prevêem a construção de um grande conjunto de dados de movimentos manuais que podem ser usados, por exemplo, para treinar robôs humanóides em tarefas de destreza, como a realização de certos procedimentos cirúrgicos. A banda de ultrassom também pode ser usada para agarrar, manipular e interagir com objetos em videogames, aplicativos de design ou outros ambientes virtuais.
“Acreditamos que este trabalho tem impacto imediato na potencial substituição de técnicas de rastreamento guide por bandas de ultrassom vestíveis em realidade digital e aumentada”, diz Xuanhe Zhao, professor de engenharia mecânica Uncas e Helen Whitaker no MIT. “Também poderia fornecer enormes quantidades de dados de treinamento para robôs humanóides hábeis.”
Zhao, Gengxi Lu e seus colegas apresentam o novo design da pulseira em um papel que apareceu em Eletrônica da Natureza. Seus coautores no MIT são os ex-pós-doutorandos Xiaoyu Chen, Shucong Li e Bolei Deng; os estudantes de pós-graduação SeongHyeon Kim e Dian Li; pós-doutorandos Shu Wang e Runze Li; e Anantha Chandrakasan, reitora do MIT e professora Vannevar Bush de Engenharia Elétrica e Ciência da Computação. Outros coautores são os estudantes de pós-graduação Yushun Zheng e Junhang Zhang, Baoqiang Liu, Chen Gong e o professor Qifa Zhou da College of Southern California.
Vendo cordas
Atualmente, existem várias abordagens para capturar e imitar a destreza guide humana em robôs. Algumas abordagens usam câmeras para registrar os movimentos das mãos de uma pessoa enquanto ela manipula objetos ou executa tarefas. Outros envolvem fazer com que uma pessoa use uma luva com sensores, que registra os movimentos da mão da pessoa e transmite os dados para um robô receptor. Mas montar um sistema de câmera complexo para diferentes aplicações é impraticável e sujeito a obstáculos visuais. E luvas carregadas de sensores podem limitar os movimentos e sensações naturais das mãos de uma pessoa.
Uma terceira abordagem utiliza sinais elétricos dos músculos do pulso ou antebraço que os cientistas correlacionam com movimentos específicos das mãos. Os pesquisadores fizeram avanços significativos nesta abordagem, porém esses sinais são facilmente afetados pelo ruído do ambiente. Eles também não são sensíveis o suficiente para distinguir mudanças sutis nos movimentos. Por exemplo, eles podem discernir se o polegar e o indicador estão comprimidos ou separados, mas não muito no caminho intermediário.
A equipe de Zhao se perguntou se a ultrassonografia poderia capturar movimentos mais hábeis e contínuos das mãos. Seu grupo vem desenvolvendo vários formatos de adesivos de ultrassom – versões miniaturizadas dos transdutores usados em consultórios médicos que são combinados com materials de hidrogel que pode aderir à pele com segurança.
Em seu novo estudo, a equipe incorporou o design do adesivo de ultrassom em uma pulseira para visualizar continuamente os músculos e tendões do pulso.
“Os tendões e músculos do pulso são como cordas puxando marionetes, que são os dedos”, diz Lu. “Então a ideia é: cada vez que você tirar uma foto do estado das cordas, você saberá o estado da mão.”
Manipulação de mapeamento
A equipe projetou uma pulseira com um adesivo de ultrassom do tamanho de um smartwatch e adicionou eletrônicos integrados que são quase tão pequenos quanto um celular. Eles prenderam a pulseira no pulso de um voluntário e confirmaram que o dispositivo produzia imagens claras e contínuas do pulso enquanto o voluntário movia os dedos em vários gestos.
O desafio então foi relacionar as imagens ultrassonográficas em preto e branco do pulso com posições específicas da mão. Acontece que os dedos e o polegar são capazes de 22 graus de liberdade ou de diferentes formas de extensão ou inclinação. Os pesquisadores descobriram que poderiam identificar regiões específicas em suas imagens de ultrassom do pulso que se correlacionam com cada um desses 22 graus de liberdade. Por exemplo, as alterações numa região estão relacionadas com a extensão do polegar, enquanto as alterações noutra região estão correlacionadas com os movimentos do dedo indicador.
Para estabelecer essas conexões, um voluntário que usava a pulseira movia a mão em várias posições enquanto os pesquisadores gravavam os gestos com múltiplas câmeras ao redor do voluntário. Ao combinar alterações em certas regiões das imagens de ultrassom com as posições das mãos registradas pelas câmeras, a equipe conseguiu rotular regiões da imagem do pulso com o grau de liberdade correspondente na mão. Mas fazer esta tradução continuamente e em tempo actual seria uma tarefa impossível para os humanos.
Então, a equipe recorreu à inteligência synthetic. Eles usaram um algoritmo de IA que pode ser treinado para reconhecer padrões de imagens e correlacioná-los com rótulos específicos e, neste caso, com os vários graus de liberdade da mão. Os pesquisadores treinaram o algoritmo com imagens de ultrassom que rotularam meticulosamente, anotando as regiões da imagem associadas a um grau de liberdade específico. Eles testaram o algoritmo em um novo conjunto de imagens de ultrassom e descobriram que ele previu corretamente os gestos manuais correspondentes.
Depois que os pesquisadores emparelharam com sucesso o algoritmo de IA com a pulseira, eles testaram o dispositivo em mais voluntários. Para o novo estudo, oito voluntários com diferentes tamanhos de mãos e pulsos usaram a pulseira enquanto formavam vários gestos e preensão com as mãos, incluindo os sinais para todas as 26 letras da linguagem de sinais americana. Eles também seguravam objetos como uma bola de tênis, uma garrafa plástica, uma tesoura e um lápis. Em cada caso, a pulseira rastreou e previu com precisão a posição da mão.
Os engenheiros do MIT desenvolveram uma pulseira de ultrassom que rastreia com precisão os movimentos das mãos do usuário em tempo actual. A pulseira produz imagens de ultrassom dos músculos, tendões e ligamentos do pulso à medida que a mão se transfer. Crédito: Melanie Gonick.
Para demonstrar aplicações potenciais, a equipe desenvolveu um programa de computador simples que foi emparelhado sem fio com a pulseira. À medida que o usuário realizava os movimentos de beliscar e agarrar, os gestos correspondiam a aumentar e diminuir o zoom em um objeto na tela do computador e a movê-lo e manipulá-lo virtualmente de maneira suave e contínua.
Os pesquisadores também testaram a pulseira como um controlador sem fio de uma simples mão robótica comercial. Enquanto usava a pulseira, um voluntário fazia movimentos de tocar um teclado. O robô, por sua vez, imitou os movimentos em tempo actual para tocar uma melodia simples no piano. O mesmo robô também foi capaz de imitar o toque dos dedos de uma pessoa para jogar um jogo de basquete no desktop.
Zhao está planejando miniaturizar ainda mais o {hardware} da pulseira, bem como treinar o software program de IA em muitos mais gestos e movimentos de voluntários com tamanhos e formatos de mãos mais variados. Em última análise, a equipe está construindo um rastreador de mão vestível que pode ser usado por qualquer pessoa, para manipular robôs humanóides ou objetos virtuais sem fio com alta destreza.
“Acreditamos que esta é a maneira mais avançada de rastrear o movimento hábil da mão, por meio de imagens vestíveis do pulso”, diz Zhao. “Acreditamos que essas pulseiras de ultrassom vestíveis podem fornecer controles intuitivos e versáteis para realidade digital e mãos robóticas.”
Esta pesquisa foi apoiada, em parte, pelo MIT, pelos Institutos Nacionais de Saúde dos EUA, pela Fundação Nacional de Ciência dos EUA, pelo Departamento de Defesa dos EUA e pela Fundação Nacional de Pesquisa de Singapura através da Aliança para Pesquisa e Tecnologia Singapura-MIT.
Notícias do MIT