miniaturadeimagen|Un niño que es detectado por un sencillo algoritmo de reconocimiento de gestos para detectar la ubicación y el movimiento de la mano. miniaturadeimagen|300px|El reconocimiento de gestos se procesa normalmente en middleware, los resultados se transmiten a las aplicaciones de usuario. El reconocimiento de gestos forma parte de las ciencias de la computación y la tecnología del lenguaje y tiene como objetivo interpretar gestos humanos a través de algoritmos matemáticos. Los gestos pueden ser cualquier movimiento corporal o estado, pero comúnmente se originan a partir de la cara o la mano. Enfoques actuales en el campo incluyen reconocimiento de la emoción facial y el reconocimiento de gestos de la mano. Muchos enfoques que se han hecho hacen uso de cámaras y visión (por medio de cámaras) y se procesan por medio de algoritmos para interpretar el lengua de señas. Sin embargo, la identificación y el reconocimiento de la postura, la marcha, la proxémica, y los comportamientos humanos es también el tema de técnicas de reconocimiento de gestos.Matthias Rehm, Nikolaus Bee, Elisabeth André, Wave Like an Egyptian - Accelerometer Based Gesture Recognition for Culture Specific Interactions, British Computer Society, 2007 El reconocimiento de gestos puede ser visto como una manera para que las computadoras empiecen a entender el lenguaje corporal humano, construyendo así una relación más sólida entre máquinas y seres humanos. Dejando atrás sistemas primitivos como las interfaces de usuario de texto o incluso GUIs (interfaces gráficas de usuario), que aún limitan la mayoría de las entradas informáticas al teclado y el ratón.
El reconocimiento de gestos permite a seres humanos comunicarse con la máquina (HMI) e interactuar naturalmente sin dispositivos mecánicos. Utilizando el concepto de reconocimiento de gestos, es posible usar los dedos en un espacio libre para relacionar movimientos del cursor con el movimiento del usuario. Esto podría hacer que los dispositivos convencionales de entrada, tales como ratón, teclados e incluso pantallas táctiles sean redundantes.
El Reconocimiento de gestos puede llevarse a cabo con técnicas de visión por medio de cámaras, webcams o dispositivos móviles y procesamiento de imágenes .
La siguiente literatura incluye trabajos en curso en el campo de la visión artificial en la captura de gestos o acciones más humanas en general y movimientos por cámaras conectadas a un ordenador.Pavlovic, V., Sharma, R. & Huang, T. (1997), "Visual interpretation of hand gestures for human-computer interaction: A review", IEEE Trans. Pattern Analysis and Machine Intelligence., July, 1997. Vol. 19(7), pp. 677 -695.R. Cipolla and A. Pentland, Computer Vision for Human-Machine Interaction, Cambridge University Press, 1998, ISBN 978-0-521-62253-0Ying Wu and Thomas S. Huang, "Vision-Based Gesture Recognition: A Review", In: Gesture-Based Communication in Human-Computer Interaction, Volume 1739 of Springer Lecture Notes in Computer Science, pages 103-115, 1999, ISBN 978-3-540-66935-7, Alejandro Jaimesa and Nicu Sebe, Multimodal human–computer interaction: A survey, Computer Vision and Image Understanding Volume 108, Issues 1-2, October–November 2007, Pages 116-134 Special Issue on Vision for Human-Computer Interaction,
Esta tecnología no sólo va a reducir el impacto del hardware en el sistema, también aumentará el rango de usos aplicables desde un objeto en el mundo físico a un objeto en el mundo digital, como teclados, mouses, etc. El uso de esta tecnología que podemos implementar puede crear una nueva tesis de la creación de un nuevo hardware sin necesidad de monitores. Esta idea nos puede llevar a la creación de la pantalla holográfica. El plazo de reconocimiento de gestos se ha utilizado para referirse más estrechamente a los símbolos de escritura a mano, no son entradas de textos, como el entintado en una tableta gráfica, gestos multi-touch y movimientos de ratón. Ésta es la interacción del ordenador a través del dibujo de símbolos con un dispositivo cursor o señalador.Dopertchouk, Oleg; "Recognition of Handwriting Gestures", gamedev.net, January 9, 2004Chen, Shijie; "Gesture Recognition Techniques in Handwriting Recognition Application", Frontiers in Handwriting Recognition p 142-147 November 2010Balaji, R; Deepu, V; Madhvanath, Sriganesh; Prabhakaran, Jayasree "Handwritten Gesture Recognition for Gesture Keyboard", Hewlett-Packard Laboratories
Tipos de Gestos En interfaces de ordenador, se distinguen dos tipos de gestos:Dietrich Kammer, Mandy Keck, Georg Freitag, Markus Wacker, Taxonomy and Overview of Multi-touch Frameworks: Architecture, Scope and Features Consideramos gestos en línea, que también pueden ser consideradas como manipulaciones directas como escalar y rotar. Por el contrario, fuera los gestos en líneas, se procesan generalmente después de que la interacción está terminada; por ejemplo, se dibuja un círculo para activar un menú contextual. Gestos Offline: Son gestos procesados después de la interacción del usuario con el objeto. Un ejemplo es el gesto para activar un menú. Gestos Online: Son los gestos de manipulación directa. Se utilizan para escalar o rotar un objeto tangible.
Dispositivos de entrada
La capacidad de realizar un seguimiento de los movimientos de una persona y determinar qué gestos pueden ser realizando se pueden lograr a través de diversas herramientas. Aunque hay una gran cantidad de investigaciones realizadas en la imagen / vídeo basado en el reconocimiento de gestos, hay una variación dentro de las herramientas y entornos utilizados entre implementaciones.
Guantes cableados. Estos pueden proporcionar datos de entrada a la computadora sobre la posición y la rotación de las manos utilizando dispositivos de seguimiento magnético o inercial. Además, algunos guantes pueden detectar los dedos con un alto grado de precisión (5-10 grados), o incluso proporcionar retroalimentación háptica del usuario, lo cual se convierte en lo que es una simulación del sentido del tacto. El primer dispositivo de seguimiento de mano de tipo guante disponible en el mercado fue el Dataglove,Thomas G. Zimmerman, Jaron Lanier, Chuck Blanchard, Steve Bryson and Young Harvill. http://portal.acm.org. "A HAND GESTURE INTERFACE DEVICE." http://portal.acm.org. un dispositivo de tipo guante que puede detectar la posición de la mano, el movimiento y los dedos, por separado. Esto utiliza cables de fibra óptica que se ejecutan en la parte posterior de la mano. Pulsos de luz son creados y cuando se doblan los dedos, fugas de luz a través de pequeñas grietas y la pérdida se registra, da una aproximación de la actitud de la mano. Cámaras de profundidad consciente. El uso de cámaras especializadas, como la luz estructurada o cámaras de tiempo de vuelo, se puede generar un mapa de profundidad de lo que se ve a través de la cámara a una distancia corta, y utilizar estos datos para aproximarse a una representación en 3D de lo que se está viendo. Estos pueden ser eficaces para la detección de gestos con las manos, debido a sus capacidades de corto alcance.Yang Liu, Yunde Jia, A Robust Hand Tracking and Gesture Recognition Method for Wearable Visual Interfaces and Its Applications, Proceedings of the Third International Conference on Image and Graphics (ICIG’04), 2004 Stereo Cámaras. El uso de dos cámaras cuyas relaciones se conocen entre sí, una representación 3D se puede aproximar por la salida de las cámaras. Para obtener las relaciones de la cámara, se puede utilizar una referencia de posicionamiento como una raya-Lexian o infrarrojos emisores.Kue-Bum Lee, Jung-Hyun Kim, Kwang-Seok Hong, An Implementation of Multi-Modal Game Interface Based on PDAs, Fifth International Conference on Software Engineering Research, Management and Applications, 2007 En combinación con la medición de movimiento directo (6D-Vision) los gestos pueden ser detectados directamente. Gestos basados en controlador. Estos controladores actúan como una extensión del cuerpo de modo que cuando se llevan a cabo gestos, algunos de su movimientos pueden ser capturados convenientemente mediante software. Los gestos del ratón son un ejemplo, donde el movimiento del ratón se correlaciona con un símbolo que está dibujado por una persona de mano, al igual que el mando de Wii o el Myo, que pueden estudiar los cambios en la aceleración en el tiempo para representar los gestos.Per Malmestig, Sofie Sundberg, SignWiiver - implementation of sign language technologyThomas Schlomer, Benjamin Poppinga, Niels Henze, Susanne Boll, Gesture Recognition with a Wii Controller , Proceedings of the 2nd international Conference on Tangible and Embedded interaction, 2008AiLive Inc., LiveMove White Paper, 2006 Los dispositivos, tales como la varita mágica de LG Electronics, el lazo y la primicia utilizar Hillcrest Laboratories ' tecnología Freespace, que utilizan acelerómetros MEMS, giroscopios y otros sensores para traducir los gestos en el movimiento del cursor. El software también compensa el temblor humano y el movimiento involuntario.Electronic Design September 8, 2011. William Wong. Natural User Interface Employs Sensor Integration.Cable & Satellite International September/October, 2011. Stephen Cousins. A view to a thrill. TechJournal South January 7, 2008. Hillcrest Labs rings up $25M D round. Los sensores inteligentes de estos cubos emisores de luz se pueden utilizar para detectar manos y dedos, así como otros objetos cercanos, y se pueden utilizar para procesar los datos. La mayoría de las aplicaciones son en la música y la síntesis de sonido,Percussa AudioCubes Blog October 4, 2012. Gestural Control in Sound Synthesis. pero pueden ser aplicados a otros campos. Single camera. Una cámara 2D estándar se puede utilizar para el reconocimiento de gestos donde los recursos / medio ambiente no serían convenientes para otras formas de reconocimiento basada en imágenes. Anteriormente se pensaba que una sola cámara puede no ser tan eficaz como estéreo o profundidad cámaras conscientes, pero algunas compañías están desafiando esta teoría. Tecnología de reconocimiento de gestos basada en software con una cámara 2D estándar que puede detectar gestos robustos de mano, señales con las manos, así como la pista manos o los dedos en una gran precisión ya se ha incrustado en ultrabooks Yoga de Lenovo [aclaración necesaria], teléfonos inteligentes de Pantech Vega LTE, Hisense de modelos de Televisión inteligente, entre otros dispositivos.
Algoritmos
Dependiendo del tipo de datos de entrada, el enfoque para interpretar un gesto podría hacerse de diferentes maneras. Sin embargo, la mayoría de las técnicas se basan en indicadores clave representados en un sistema de coordenadas 3D. Basado en el movimiento relativo de estos, el gesto puede ser detectado con una alta precisión, dependiendo de la calidad de la entrada y el enfoque del algoritmo. Con el fin de interpretar los movimientos del cuerpo, uno tiene que clasificarlos de acuerdo a las propiedades comunes y el mensaje de los movimientos que pueden expresar. Por ejemplo, en lengua de signos cada gesto representa una palabra o frase. La taxonomía, que parece muy apropiada para la Interacción Persona-Ordenador, ha sido propuesto por Quek en "Hacia una interfaz de gesto de mano Vision-Based".Quek, F., "Toward a vision-based hand gesture interface" Proceedings of the Virtual Reality System Technology Conference, pp. 17-29, August 23–26, 1994, Singapore Se presentan varios sistemas de gestos interactivos con el fin de capturar todo el espacio de los gestos: 1. Manipulador; 2. Semafórico; 3. Conversacional.