Reconhecimento multimodal de gestos manuais e marcadores faciais gramaticais da Língua Brasileira de Sinais por visão computacional em apoio à comunicação de pessoas com deficiência auditiva

Abstract

A comunicação entre pessoas surdas e ouvintes que não dominam a Língua Brasileira de Sinais (Libras) ainda representa uma barreira de acessibilidade. Embora sistemas computacionais de reconhecimento de sinais tenham avançado, muitas abordagens priorizam os gestos manuais e deixam de considerar marcadores faciais gramaticais, importantes para a construção de sentido na língua. Diante dessa lacuna, este trabalho teve como objetivo desenvolver e avaliar um protótipo web para reconhecimento multimodal da Libras, integrando sinais manuais e marcadores faciais capturados por webcam convencional. A metodologia envolveu OpenCV e MediaPipe para processamento dos frames e extração de landmarks, scikitlearn para os classificadores supervisionados e fusão em nível de decisão entre os canais manual e facial. No canal manual, a Regressão Logística alcançou 81,84% de acurácia na validação por tomada e 56,32% na validação por sinalizador. No canal facial, o ExtraTreesClassifier obteve 94,31% de acurácia e 92,93% de F1-score na divisão controlada por frames. A integração multimodal permitiu combinar o reconhecimento lexical dos sinais com informações gramaticais faciais, produzindo uma interpretação mais contextualizada, embora limitada pela ausência de uma base multimodal pareada e pela variabilidade individual dos sinalizadores.