Na virada do século XX, William Hoy transformou a Liga Principal de Beisebol. O jogador surdo mais proeminente da história, ele ensinou à sua equipe a linguagem de sinais americana (ASL) para se comunicar em campo enquanto mantinha os oponentes no escuro. Seu discurso silencioso, um legado com mais de um século, também inspirou os árbitros a fazerem chamadas usando gestos manuais.
ASL é uma das cerca de 300 línguas de sinais usadas hoje por cerca de 70 milhão pessoas surdas em todo o mundo. Mas apenas uma parcela da sociedade entende os sinais. As tarefas diárias, como fazer pedidos em um restaurante ou conhecer pessoas em eventos sociais, podem ser difíceis. Para preencher essa lacuna, uma equipe sul-coreana desenvolveu anéis inteligentes para traduzir os movimentos dos dedos em texto.
Dispositivos mais antigos geralmente exigem uma selva de cabos para conectar sensores. Mas os novos anéis são sem fio, liberando as pessoas para usar movimentos naturais das mãos. Os anéis também se esticam para caber em diferentes tamanhos de dedos. Essas atualizações os tornam mais confortáveis e confiáveis, escreveu a equipe. Cada anel é alimentado por uma bateria substituível de 12 horas.
Signatários fluentes podem se comunicar em velocidades de cerca de 100 a 150 sinais por minutosemelhante à conversa falada. Os dispositivos precisam acompanhar essa velocidade para evitar pausas desconfortáveis. Assim, a equipe desenvolveu o “preenchimento automático” baseado em IA para o sistema que, assim como a digitação, adivinha a próxima palavra com base no que já foi assinado para gerar frases e sentenças instantaneamente.
Treinado em 100 palavras comuns em ASL e Linguagem de Sinais Internacional (ISL), o wearable teve mais de 88% de precisão nos testes, mesmo para usuários sem experiência.
Os anéis são um passo em direção à “interação perfeita entre signatários e não signatários”. escreveu a equipe.
Vamos conversar
Há uma variedade de dispositivos que traduzem a linguagem de sinais em texto ou fala, alguns já está no mercado.
Um design é um pouco como um jogo de realidade digital. Isto usa câmeras e software program de visão computacional para reconhecer gestos manuais. A abordagem é razoavelmente rápida e precisa no laboratório, mas apresenta dificuldades em cenários simulados do mundo actual, onde mudanças na iluminação ou no fundo confundem o sistema.
Os dispositivos usados pelos usuários são mais confiáveis. WearSignpor exemplo, usa sensores para capturar a atividade elétrica dos músculos durante a sinalização e traduzi-la em texto. Freqüentemente, esses dispositivos precisam ser adaptados ao usuário, um obstáculo que limita o uso, pois alguns não conseguem se comprometer com o treinamento.
Os engenheiros também tentaram incorporar sensores de rastreamento em uma luva inteligente. Os sensores enviam sinais através de cabos para um transmissor sem fio compartilhado. Mas é um pouco como usar ferramentas com uma luva pesada de inverno. Os dispositivos limitam os movimentos naturais e são desconfortáveis para o uso diário.
Eles também geralmente vêm em apenas um tamanho com posicionamentos fixos de sensores, escreveu a equipe. Portanto, dependendo do tamanho da mão, os sensores podem ficar fora do lugar, reduzindo a precisão.
Coloque um anel nele
Para superar esses problemas, a equipe construiu anéis de IA para rastrear os sete dedos mais dominantes na sinalização. (O mindinho direito, o dedo médio esquerdo e o polegar não foram cortados.) Os anéis são usados emblem abaixo da segunda junta para permitir o movimento pure.
Cada dispositivo é feito de materials elástico para acomodar diferentes tamanhos de dedos e se parece mais com um curativo translúcido do que com um anel típico. Um pequeno acelerômetro captura movimentos como dobrar, enrolar e ficar parado. Os sensores são baratos, de baixo consumo de energia e já usados em Apple Watches, Fitbits e outros wearables. Há também chips integrados para gerenciar o uso de energia, transmissores Bluetooth finos e baterias substituíveis comuns que duram quase 12 horas.
Os anéis transmitem sinais para um dispositivo host, que processa os dados e mantém uma linha do tempo de cada movimento para que os sinais recebidos não sejam embaralhados na tradução.
Para identificar palavras, o sistema combina gestos com um banco de dados de 100 sinais ASL e ISL. Por exemplo, fechar as palmas das mãos abertas em punhos significa “querer”. Os anéis também podem captar sinais em movimento, como “dança” ou “voar”, e aqueles com os dedos imóveis, como “eu” e “você”. Em usuários iniciantes, o sistema teve 88% de precisão tanto para ASL quanto para ISL.
Para garantir que as conversas fluam naturalmente, a equipe adicionou uma IA para rastrear as conversas e prever a palavra que vem a seguir. Nos testes, o sistema completou automaticamente frases simples, como “família quer lindo animal”.
Embora ainda sejam experimentais, os anéis também podem traduzir entre línguas de sinais. Como a IA aprende apenas com gestos, com dados de treinamento suficientes, ela poderá eventualmente se transformar em uma espécie de Google Tradutor para assinatura.
Mas os gestos dos dedos não conseguem captar todo o espectro da linguagem de sinais. Expressões faciais, movimentos da boca, postura dos ombros e do corpo, velocidade e ritmo carregam informações críticas, incluindo significado e emoção. Sem esse contexto, o sistema poderia facilmente comunicar mal a intenção. Alguns esforços agora estão retornando aos sistemas mais antigos baseados em vídeo para capturar melhor toda a experiência de assinatura, desta vez com {hardware} mais elegante e muito mais poder de processamento.
A equipe acha que os anéis também podem ser úteis em outros lugares, como para uso em realidade digital ou aumentadainterfaces de computador sem toque e rastreamento de movimentos das mãos na reabilitação.