Los investigadores de la Universidad de Cornell han dado un paso al frente para crear una tecnología de seguimiento de expresiones faciales que podría incluirse tanto en unas gafas convencionales como en cascos de realidad mixta.

En concreto han creado dos tecnologías capaces de rastrear los movimientos oculares y leer las expresiones faciales mediante sensores similares a los de un sonar.

Estas tecnologías se amparan en altavoces y micrófonos en gafas convencionales para hacer rebotar las ondas sonoras en la cara y así captar señales reflejadas de los movimientos faciales y oculares.

Una de estas tecnologías es GazeTrak, un sistema de seguimiento ocular basado en señales acústicas, mientras que la otra tecnología se llama EyeEcho y es un sistema capaz de detectar de forma continua y precisa, expresiones faciales y luego recrearlas a través de un avatar en tiempo real.

GazeTrak y EyeEcho: en qué consisten

Primero hablamos de GazeTrak que hace uso de una tecnología capaz de rastrear la dirección de la mirada del usuario. Utiliza un altavoz y cuatro micrófonos en cada montura de lente de unas gafas, y el sistema emite ondas sonoras inaudibles que hacen eco en el globo ocular y que son captadas luego por los micrófonos.

Luego estas señales de sonido resultantes se introducen en un canal de aprendizaje profundo que hace uso de IA para analizar las diferencias y determinar la dirección de la mirada del usuario.

Se trata de una tecnología muy eficiente enérgicamente, dado que solo consume el 5 % de la energía requerida por otros dispositivos.

Por otra parte EyeEcho hace uso de un altavoz y micrófono junto a las bisagras de las gafas convencionales para capturar expresiones faciales al través del movimiento de la piel.

Estas señales se interpretan mediante IA para permitir videollamadas con manos libres a través de un avatar.

Esta tecnología puede rastrear las expresiones faciales de forma continua de un usuario, y puede leer las expresiones con solo cuatro minutos de entrenamiento previo, según se hizo en pruebas con 12 sujetos.

De hecho, es una tecnología muy precisa, capaz de reconocer expresiones incluso cuando los sujetos realizan una variedad de actividades en diferentes entornos.