Melior: hablar con la mirada y la cabeza
About the project
Melior: hablar con la mirada y la cabeza
El problema
Hay personas con ELA, ictus o parálisis que solo pueden mover la cabeza y no pueden hablar. Para comunicarse dependen de tableros lentos o de alguien que adivine qué necesitan.
Qué es Melior
Una app de comunicación que se controla solo con la cabeza. Basta una webcam: no hace falta ningún dispositivo especial. Melior propone lo que la persona probablemente quiere decir, ella elige con un gesto y la frase se dice en voz alta.
Cómo se usa
En pantalla siempre hay 4 opciones en cruz: arriba, abajo, izquierda y derecha.
Girar la cabeza hacia una opción la resalta, y mantenerla quieta la elige.
Un parpadeo largo vuelve atrás.
Las opciones críticas, como pedir ayuda o avisar de una urgencia, se confirman dos veces para evitar errores.
Recalibrar pide mirar un punto en el centro de la pantalla. En 3 segundos se adapta a la postura de la persona.
La inteligencia
Los menús fijos (Responder, Necesito, Urgencia…) aseguran que lo esencial esté siempre a pocos gestos.
En ciertos puntos, Gemma genera frases nuevas según el contexto: la hora del día, lo último que le han dicho y lo que esa persona suele elegir. Muestra 3 frases y “Más opciones” trae otras sin repetir.
Aprende: cada elección se guarda en el propio equipo y mejora las sugerencias siguientes.
ElevenLabs pone una voz natural a la frase elegida.
Tecnología
MediaPipe Face Landmarker (seguimiento de la cabeza y del parpadeo) · motor de gestos propio con filtrado y tiempo de permanencia · Gemma (LLM) · ElevenLabs (voz) · Python + interfaz web en Chrome.
Privacidad
El vídeo de la cámara no sale del ordenador. El historial de aprendizaje también se guarda solo en ese equipo.
En la demo
localhost:8000 es lo que ve la persona usuaria: una pantalla limpia con letra grande.
Built with
AI tools
Prize Categories Entered
- Submitted
Best Use of Gemma 4