Para os surdos e com deficiência auditiva, a linguagem de sinais abre um mundo de comunicação que, de outra forma, seria impossível. Os movimentos das mãos, gestos faciais e linguagem corporal usados quando a assinatura são altamente expressivos e permite que as pessoas transmitam idéias complexas com muita nuance. No entanto, relativamente poucas pessoas entendem a linguagem de sinais, o que cria barreiras de comunicação para aqueles que se baseiam nela.
Nos últimos anos, poucas opções estavam disponíveis para ajudar a quebrar essas barreiras. Os tradutores humanos poderiam fazer o trabalho, mas ter alguém sempre pronto para prestar assistência não é viável. Um tradutor digital ajudaria bastante a resolver esse problema, mas uma solução completamente prática ainda não foi construída. Luvas vestíveis e outros dispositivos de detecção de movimento foram experimentados no passado, mas esses sistemas tendem a ser complexos e indesejáveis para o uso diário no mundo actual. Mas recentemente, uma equipe de engenheiros da Universidade da Flórida Atlantic tem relatou seu trabalho Em última análise, isso pode ser usado para alimentar um dispositivo de tradução de linguagem de sinais mais prático.
Uma visão geral da metodologia de tradução (📷: B. Alsharif et al.)
Os pesquisadores desenvolveram um sistema de interpretação de linguagem de sinais americana em tempo actual (ASL) que usa inteligência synthetic e visão computacional para identificar e traduzir gestos manuais em texto. Ao combinar duas tecnologias de ponta-Yolov11 para reconhecimento de gestos e mídia para rastreamento manual-o sistema é capaz de reconhecer letras alfabetistas ASL com altos níveis de velocidade e precisão.
O processo começa com uma câmera que captura imagens da mão do assinante. Em seguida, o MediaPipe mapeia 21 pontos -chave em cada mão, criando um contorno esquelético que revela a posição de cada junta do dedo e o pulso. Usando esses dados esqueléticos, o Yolov11 identifica e classifica o gesto que está sendo feito. Juntos, essas ferramentas permitem que o sistema opere em tempo actual, mesmo sob condições de iluminação desafiador e usando apenas {hardware} e ferramentas padrão.
Os testes mostraram que o sistema atingiu uma precisão média média de 98,2%, tornando -o um dos sistemas de reconhecimento de ASL mais precisos desenvolvidos até o momento. Sua alta velocidade de inferência também significa que ele pode ser implantado em ambientes vivos, como salas de aula, instalações de saúde ou locais de trabalho, onde é necessária uma interpretação confiável e imediata.
Ao construir o sistema, os pesquisadores selecionaram um conjunto de dados de 130.000 imagens de gestos de mão ASL anotadas, cada uma marcada com 21 pontos -chave para refletir diferenças sutis no posicionamento dos dedos. O conjunto de dados inclui imagens tiradas sob uma variedade de condições de iluminação e com diferentes origens, permitindo que o sistema generalize bem em diferentes usuários e ambientes. Esse conjunto de dados foi um fator importante no ensino do sistema a classificar com precisão sinais visualmente semelhantes.
Olhando para o futuro, a equipe planeja expandir as capacidades do sistema a partir do reconhecimento de cartas alfabetistas individuais para completar palavras e até frases completas. Isso permitiria que os usuários expressassem idéias mais complexas de maneira pure e fluida, aproximando a tecnologia de um verdadeiro intérprete digital para a linguagem de sinais.