Una sola cámara RGB transforma su palma en un teclado para la interacción de realidad mixta
Equipo de Arduino – 9 de mayo de 2025
Las interacciones en la realidad mixta son un desafío. Nadie quiere contener controladores voluminosos y escribir haciendo clic en las grandes teclas virtuales una a la vez. Pero las personas no quieren transportar dispositivos de teclado físico dedicados solo para escribir de vez en cuando. Es por eso que un equipo de computadora de la Universidad China de Tsinghua ha desarrollado una tecnología de interacción llamada Palmpad que le permite escribir con una sola cámara RGB y un Arduino.
Esta no es una idea nueva, pero la ejecución se destaca. Funciona apuntando a una cámara en manos del usuario. En realidad mixta, el usuario ve un pequeño teclado proyectado sobre su palma. Luego usan sus índices en su mano opuesta para presionar las teclas virtuales. La cámara sigue el movimiento del dedo índice a la palma para determinar las teclas virtuales que toca el usuario.
Los intentos anteriores de los demás para implementar este método experimentaron un éxito limitado por dos razones: monitoreo de las yemas de los dedos que no son confiables y deficientes detecciones táctiles.
El equipo de la Universidad de Tsinghua resolvió el primer problema con las técnicas para procesar marcos de video sofisticados, como la extracción de movimiento, y con una red neuronal convolucional (CNN) formada para este propósito. Su sistema puede determinar la posición del dedo en relación con la palma con gran precisión.
Resolvieron el segundo problema usando un Arduino un reverendo Para monitorear las señales eléctricas pasaron con la mano a la otra. Estas señales provienen de un generador de forma de onda, que produce dos señales de CA con una corriente de voltaje muy baja a 12.5 MHz. Una es una referencia y la otra pasa de un electrodo en una mano a un electrodo por otro lado. El Arduino monitorea estas señales a través de un multiplicador analógico y un filtro de paso bajo, detectando un cambio de impedancia que indica un contacto con el dedo de la palma.
Donde sea que el dedo del usuario esté en ese momento se registra como un “clic”. El equipo reportó una precisión de reconocimiento táctil del 97.0%, lo que hace que Palmpad sea bastante confiable.
Más detalles sobre Palmpad se puede encontrar en el artículo de los investigadores.
Crédito de la imagen: él y Wang et al.