Skip to main content

About the project

Melior: hablar con la mirada y la cabeza
El problema
Hay personas con ELA, ictus o parálisis que solo pueden mover la cabeza y no pueden hablar. Para comunicarse dependen de tableros lentos o de alguien que adivine qué necesitan.

Qué es Melior
Una app de comunicación que se controla solo con la cabeza. Basta una webcam: no hace falta ningún dispositivo especial. Melior propone lo que la persona probablemente quiere decir, ella elige con un gesto y la frase se dice en voz alta.

Cómo se usa

En pantalla siempre hay 4 opciones en cruz: arriba, abajo, izquierda y derecha.
Girar la cabeza hacia una opción la resalta, y mantenerla quieta la elige.
Un parpadeo largo vuelve atrás.
Las opciones críticas, como pedir ayuda o avisar de una urgencia, se confirman dos veces para evitar errores.
Recalibrar pide mirar un punto en el centro de la pantalla. En 3 segundos se adapta a la postura de la persona.
La inteligencia

Los menús fijos (Responder, Necesito, Urgencia…) aseguran que lo esencial esté siempre a pocos gestos.
En ciertos puntos, Gemma genera frases nuevas según el contexto: la hora del día, lo último que le han dicho y lo que esa persona suele elegir. Muestra 3 frases y “Más opciones” trae otras sin repetir.
Aprende: cada elección se guarda en el propio equipo y mejora las sugerencias siguientes.
ElevenLabs pone una voz natural a la frase elegida.
Tecnología
MediaPipe Face Landmarker (seguimiento de la cabeza y del parpadeo) · motor de gestos propio con filtrado y tiempo de permanencia · Gemma (LLM) · ElevenLabs (voz) · Python + interfaz web en Chrome.

Privacidad
El vídeo de la cámara no sale del ordenador. El historial de aprendizaje también se guarda solo en ese equipo.

En la demo

localhost:8000 es lo que ve la persona usuaria: una pantalla limpia con letra grande.

Built with

claudeelevenlabsgemma

AI tools

Coded withClaude CodeAntigravityGitHub CopilotGemma 4 26B A4BClaude Sonnet 5.5Claude Opus 5.5

Prize Categories Entered

  • Deepmind Google

    Best Use of Gemma 4

    Submitted