Ir al contenido

Reconocimiento de señas con IA

LSU Estudio

De la Lengua de Señas Uruguaya al texto

Le enseño a la IA mis señas frente a la cámara. Después vuelvo a señar y el prototipo intenta reconocer lo que digo y mostrarlo en texto.

Prototipo en desarrollo

De la seña al texto

Si le enseño la seña de «hola», quiero que al volver a hacerla aparezca «Hola» en pantalla. La animación ilustra ese recorrido con la letra M.

Mi trabajo

Diseñé y programé los dos modos del prototipo, Enseñar y En vivo.

  • Enseñar con mis ejemplos

    Programé un modo para asociar cada seña con su texto. Puedo revisar la captura, repetirla y guardar varias formas de hacer la misma seña.

  • Leer el movimiento en la cámara

    El prototipo sigue puntos de las manos, el rostro y el cuerpo. Guarda cómo se mueven esos puntos como ejemplo para comparar después.

  • Reconocer señas en vivo

    Cuando vuelvo a señar, el sistema compara el movimiento nuevo con los ejemplos que le enseñé y busca la coincidencia más cercana.

  • Mostrar una respuesta en texto

    Cuando encuentra una coincidencia, muestra la letra o la palabra asociada. Si no tiene suficiente certeza, señala que el resultado es dudoso.

Así le enseño mis señas a la IA

En el video elijo la letra M, hago la seña frente a la cámara y reviso el ejemplo antes de guardarlo. Así le enseño al sistema qué texto corresponde a esa seña.

Después, en el modo En vivo, pruebo si reconoce lo que vuelvo a señar. Ahora trabajo con letras y palabras que ya le enseñé. Mi objetivo es que más adelante pueda mostrar en texto frases y conversaciones en LSU.

Modo Enseñar. Registro y reviso un ejemplo de la letra M.

Cómo una seña pasa a texto

  1. En Enseñar, escribo la letra o palabra y registro ejemplos de mi seña frente a la cámara.
  2. En En vivo, vuelvo a hacer la seña para que la IA compare el movimiento con lo que aprendió.
  3. Leo el texto que sugiere y compruebo si corresponde a lo que hice.

Proyecto propio

Proyectos destacados