Un robot para enseñar vocabulario básico: tecnología colombiana impulsa el aprendizaje de la Lengua de Señas Colombiana

Un sistema con visión computacional implementado en un robot humanoide logra reconocer con más del 90% de precisión las señas de color de la Lengua de Señas Colombiana (LSC), marcando un hito en la educación accesible en Colombia. 

En Colombia, más de 480.000 personas enfrentan una discapacidad auditiva, pero el acceso a una educación inclusiva en Lengua de Señas Colombiana (LSC) sigue siendo muy limitado. Actualmente, solo hay un intérprete por cada 1.152 personas sordas, y apenas el 36% de ellos trabaja en educación básica. 

En este contexto, la tecnología puede convertirse en una aliada crucial. Por eso, un equipo de investigadores que  hacen parte del grupo de investigación  CAPSAB (Control y Automatización  de Procesos - Universidad La Sabana), conformado por los profesores de la Facultad de Ingeniería Claudia Lorena Garzón Castro, Jorge Alberto Castellanos y el estudiante de la Maestría en Diseño y Gestión de Procesos Juan Esteban Mora Zárate, han desarrollado un sistema de visión computacional, que combina inteligencia artificial y aprendizaje automático,  como herramienta educativa. Este sistema fue implementado en un robot humanoide para enseñar parte del vocabulario básico que se aprende en la LSC, en este caso específico, las señas correspondientes a  once colores.

Los resultados que inicialmente quedaron registrados en la publicación Learning signs with NAO: humanoid robot as a tool for helping to learn Colombian Sign Language son prometedores: el sistema alcanza precisiones superiores al 90% y podría transformar la forma en que se enseña esta lengua en el país. 

“El proyecto fue concebido en impactar a la población que quiera aprender la Lengua de Señas Colombiana, no sólo se enfocó en las personas con hipoacusia.  Otro aspecto que se contempló al plantear el proyecto fue ¿cómo motivar a las personas en aprender este lenguaje?, por este motivo, se decidió usar un robot NAO para que interactúe con el usuario”, explica la profesora Claudia Lorena Garzón Castro.

La  herramienta donde se implementó  esta innovación es el robot NAO H25 V6 que, con su capacidad de interacción gestual, no sólo observa y reconoce las señas hechas por el usuario, sino que también responde con movimientos semejantes a los de un humano y activación de los LEDs (Diodos Emisores de Luz, por sus siglas en inglés) ubicados en los ojos, generando una experiencia interactiva de aprendizaje. En ese orden de ideas, la actividad propuesta permite al usuario practicar 11 señas de colores mediante dos modos: selección manual o aleatoria, lo que fomenta tanto la autonomía como el juego en el aprendizaje. 

Inteligencia artificial para entender las señas 

Para reconocer las señas, el equipo de investigadores entrenó una red neuronal recurrente del tipo LSTM (memoria a largo y corto plazo), con datos obtenidos a través de la herramienta MediaPipe, que extrae 54 coordenadas del torso y la mano del usuario a partir de video. Estas coordenadas alimentan la red neuronal, capaz de identificar en tiempo real cuál de las 11 señas de color está realizando la persona. 

“Básicamente uno graba una persona alrededor de cuatro segundos, con este video, uno lo que hace es conseguir información adicional. En ese caso lo que nosotros hicimos fue transformarlo en un video con la proyección de la imagen del individuo como un esqueleto. Ese material permite identificar las coordenadas de cada articulación de la persona mientras hace la seña. Eso es lo que recibe nuestro modelo de inteligencia artificial. Cuando esto sucede, el sistema es capaz de distinguir qué seña corresponde a qué color”, cuenta Juan Esteban Mora Zárate

Para lograrlo, cuentan los autores del trabajo, que tuvieron que reunir videos de 20 personas diferentes, pues, aunque inicialmente lo intentaron con 9, la muestra no era suficiente para que el sistema lograra hacer la identificación correcta, dada la diferencia establecida con las velocidades de movimiento de los gestos, la estatura de los individuos y las distancias fisionómicas de las manos con respecto a partes del cuerpo como las orejas, los hombros o la cabeza etc.

Así las cosas, el sistema fue probado en dos entornos: uno con la cámara de una computadora portátil y otro con la cámara integrada del propio robot NAO. En ambos casos, la red alcanzó una precisión de más del 90%. En particular, el uso del NAO mostró una puntuación del 93,8% y un tiempo de respuesta a su aprendiz de apenas 2,29 segundos tras la grabación de la seña. Por su precisión técnica, el robot NAO se convierte en una herramienta educativa inclusiva, pues puede dar retroalimentación gestual (por ejemplo, asentir si la seña es correcta) y brindar información visual mediante la iluminación de sus ojos. Estas interacciones no verbales pueden enriquecer la experiencia del usuario, especialmente niños. 

El sistema también está diseñado con criterios de accesibilidad: funciona con iluminación controlada, capta señales de forma no invasiva (sin necesidad de guantes u otros sensores físicos), y utiliza un diseño de red neuronal capaz de adaptarse a nuevos usuarios. 

Próximos pasos: más vocabulario, más inclusión

Sí bien el objetivo social de la investigación y de la implementación de la tecnología es de gran relevancia, hay otros aspectos a considerar. Para el profesor Jorge Alberto Castellanos, lo más representativo de este trabajo fue la implementación del algoritmo de aprendizaje porque “este no solamente puede ser usado en el robot NAO, sino que puede ser cargado en cualquier dispositivo que cuente con una cámara y poder de cómputo; es decir; cualquier dispositivo con un procesador y memoria”, explica. Lo anterior, sugiere el profesor, permitiría un escalamiento en diferentes tecnologías, dejando de pronto un lado la tecnología NAO y ejecutando el algoritmo en otro tipo de tecnología más accesible. 

Por ahora, aunque la publicación realizada esta centrada en los resultados del algoritmo desarrollado para enseñar señas relacionadas con 11 colores, los investigadores ya están trabajando en la inclusión de más vocabulario básico de otras áreas como formas de cortesía y números. Además, planean hacer la validación en un colegio con estudiantes no oyentes. Esto convertiría el desarrollo implementando en el robot NAO en una herramienta aún más útil en las primeras etapas del aprendizaje de la LSC. 

“Lo que se busca con este tipo de estudios es abordar temáticas que tengan impacto social, por ejemplo, para este caso, en el país no se cuenta con suficiente personal dedicado a la enseñanza del LSC, por ende, este desarrollo ayuda a tener otro medio de aprendizaje que además genere motivación en la población que quiera aprenderlo. Adicionalmente, generar un conjunto de datos y modelos predictivos es la base para el desarrollo de otras investigaciones aplicadas relacionadas con la robótica social”, indica Garzón-Castro.

De esta manera, el proyecto demuestra que la tecnología —cuando se adapta a contextos locales y necesidades específicas— puede cerrar brechas en el acceso a la educación. En un país donde menos del 0,2% de las instituciones ofrecen educación bilingüe para personas sordas, iniciativas como esta marcan el camino hacia un país más inclusivo.