De la seña al texto
Si le enseño la seña de «hola», quiero que al volver a hacerla aparezca «Hola» en pantalla. La animación ilustra ese recorrido con la letra M.
Mi trabajo
Diseñé y programé los dos modos del prototipo, Enseñar y En vivo.
Enseñar con mis ejemplos
Programé un modo para asociar cada seña con su texto. Puedo revisar la captura, repetirla y guardar varias formas de hacer la misma seña.
Leer el movimiento en la cámara
El prototipo sigue puntos de las manos, el rostro y el cuerpo. Guarda cómo se mueven esos puntos como ejemplo para comparar después.
Reconocer señas en vivo
Cuando vuelvo a señar, el sistema compara el movimiento nuevo con los ejemplos que le enseñé y busca la coincidencia más cercana.
Mostrar una respuesta en texto
Cuando encuentra una coincidencia, muestra la letra o la palabra asociada. Si no tiene suficiente certeza, señala que el resultado es dudoso.
Así le enseño mis señas a la IA
En el video elijo la letra M, hago la seña frente a la cámara y reviso el ejemplo antes de guardarlo. Así le enseño al sistema qué texto corresponde a esa seña.
Después, en el modo En vivo, pruebo si reconoce lo que vuelvo a señar. Ahora trabajo con letras y palabras que ya le enseñé. Mi objetivo es que más adelante pueda mostrar en texto frases y conversaciones en LSU.
Así aparece el texto en En vivo
Cámara
Subtítulos
¿Cómo andás?
Cómo una seña pasa a texto
- En Enseñar, escribo la letra o palabra y registro ejemplos de mi seña frente a la cámara.
- En En vivo, vuelvo a hacer la seña para que la IA compare el movimiento con lo que aprendió.
- Leo el texto que sugiere y compruebo si corresponde a lo que hice.
Proyecto propio
