Microgestos manuais podem ser o método de entrada perfeito para interações casuais com eletrônicos portáteis e óculos de realidade aumentada. Mas qual plataforma dominará se esse estilo de interface de usuário se tornar in style? A Meta Neural Band parece muito promissora, mas talvez seja mais compacta anel inteligente acabará por revelar-se mais aceitável para os consumidores. Qualquer que seja a direção que a tecnologia tome, uma coisa é certa: a natureza intuitiva e sempre disponível dos microgestos manuais será uma alternativa muito bem-vinda às telas sensíveis ao toque e ao reconhecimento de voz.
Se um grupo de engenheiros da Universidade Cornell estiver certo, os sistemas de reconhecimento de gestos manuais podem ter um caminho difícil pela frente no caminho para a aceitação do consumidor. A razão é que os dispositivos existentes geralmente exigem que as mãos do usuário estejam vazias para uso. Mas quando você está em trânsito, com que frequência você se vê com uma xícara, um telefone ou uma bolsa na mão? Usando uma solução tradicional, os gestos não podem ser detectados de forma confiável nessas condições.
Uma visão geral da abordagem (📷: C. Lee et al.)
Isso pode mudar no futuro, no entanto. A equipe desenvolveu um dispositivo que eles chamam Pegue e vá que permite reconhecer uma ampla gama de microgestos manuais, mesmo quando as mãos estão ocupadas de outras maneiras. Esta pulseira compacta aproveita a detecção acústica ativa para obter uma imagem clara da posição da mão do usuário, mesmo quando objetos em sua mão — como um copo — ficam no caminho.
Em vez de depender de câmeras ou sensores EMG, o sistema usa dois pequenos alto-falantes e dois microfones embutidos em uma pulseira. Os alto-falantes emitem ondas sonoras inaudíveis (entre 18 e 24,5 quilohertz), que ricocheteiam na mão do usuário e no objeto que está sendo segurado. Os microfones então captam os sinais refletidos. Ao analisar essas reflexões acústicas, o sistema pode inferir o formato da mão, a postura de preensão e a geometria do objeto.
Essas reflexões são complexas e influenciadas pela posição dos dedos, materials do objeto e movimento da mão. Mas através do uso de uma estrutura de aprendizagem profunda, o Seize-n-Go pode classificar os padrões de sinal para identificar o que o usuário está fazendo. O sistema reconhece 30 microgestos distintos, divididos em seis gestos para cada uma das cinco posturas de preensão – cilíndrica, esférica, palmar, ponta e gancho – extraídas da clássica taxonomia de preensão de Schlesinger.
Um protótipo de {hardware} inicial (📷: C. Lee et al.)
O {hardware} em si é muito compacto. Construído em uma pulseira de silicone flexível, o dispositivo abriga os pares alto-falante-microfone em pequenas placas de circuito impresso personalizadas. Cada par fica em um estojo impresso em 3D que pode deslizar ao longo da pulseira para se adequar a diferentes tamanhos de pulso. Um microcontrolador aciona o sistema, alimentado por uma pequena bateria LiPo. Um amplificador integrado aumenta o sinal acústico, enquanto os dados são armazenados em um cartão microSD ou transmitidos sem fio by way of Bluetooth Low Power para um smartphone para processamento em tempo actual.
Cada um dos dois alto-falantes opera em faixas de frequência ligeiramente diferentes (um em 18–21 kHz e outro em 21,5–24,5 kHz), permitindo que os microfones distingam seus ecos usando filtros passa-faixa. Ao combinar esses sinais ao longo de quatro caminhos exclusivos entre alto-falantes e microfones, a pulseira cria um rico mapa acústico da mão e do objeto que segura.
Nos testes, o sistema teve um desempenho muito bom. Com 10 participantes e 25 objetos do cotidiano, o Seize-n-Go alcançou uma precisão média de reconhecimento de 92%. Um estudo de acompanhamento com 10 objetos deformáveis, como recipientes macios e materiais flexíveis, manteve quase a mesma precisão, mostrando a robustez do sistema.
Seize-n-Go resolve um grande problema no reconhecimento de microgestos manuais, mas ainda não está claro o que o futuro reserva para essas interfaces. O campo ainda está aberto à inovação.