¡Microsoft Kinect ahora puede entender lenguaje de señas!

¡Microsoft Kinect ahora puede entender lenguaje de señas!

El lenguaje de señas es la forma principal de comunicación de muchas personas con problemas de audición alrededor del mundo. Pero hasta ahora no había una forma efectiva de que se comunicaran con un ordenador, o de que personas sin entrenamiento en el lenguaje las comprendieran. Microsoft, con su sensor Kinect, podría cambiar esta situación.

En el contexto del DemoFest de Microsoft, la compañía presentó la demostración de un sistema -integrando el uso de Kinect, los servicios de traducción de Bing y software de reconocimiento desarrollado específicamente para esta solución-, que detecta el lenguaje de señas norteamericano y chino, y lo traduce en texto en un ordenador, todo ello en tiempo real. El proyecto es fruto del trabajo conjunto de la Academia China de Ciencias y la rama asiática de investigación de Microsoft.

Para lograr esto, la solución utiliza las habilidades de rastreo de movimientos del cuerpo que ofrece el Kinect, así como la capacidad que tiene el sensor de producir un mapa de profundidad en 3D. Integrando esta información con un desarrollo de software orientado al reconocimiento de patrones de movimiento, es posible traducir los gestos a texto de manera muy precisa.

Con el fin de ofrecer una plataforma de comunicación bidireccional, el proyecto de investigación también desarrolló una solución en sentido inverso, en la cual una persona puede escribir texto en el ordenador; una vez hecho esto, un avatar animado realiza los movimientos respectivos en lenguaje de señas. De esta manera se completa el ciclo y conversaciones enteras pueden tener lugar sin necesidad de que el interlocutor de la persona con problemas de audición tenga que conocer el lenguaje de señas.

Según palabras de Guobin Wu, quien trabaja con Microsoft en su división de investigación en Asia, "A pesar de que se trata todavía de un proyecto de investigación, esperamos que este trabajo pueda proveer en el futuro cercano una herramienta de interacción diaria para salvar la brecha entre los que pueden oír y los que no, o aquellos que tienen dificultades de audición."

¡Ahora sólo falta que se integre la funcionalidad a la nueva Xbox One! Por lo pronto, os dejamos con un vídeo mostrando la solución en acción: