Controlar una mano biónica con la detección de palabras clave de tinyML
Equipo Arduino — 31 de agosto de 2022
Los métodos tradicionales para enviar comandos de movimiento a las prótesis a menudo incluyen electromiografía (lectura de señales eléctricas de los músculos) o módulos Bluetooth simples. Pero en este proyecto, Ex-Machina ha desarrollado una estrategia alternativa que permite a los usuarios use comandos de voz y realice varios gestos en consecuencia.
La mano en sí estaba hecha de cinco servomotores SG90, cada uno de los cuales movía un dedo individual del conjunto de mano impreso en 3D más grande. Todos están controlados por uno. Sentido Arduino Nano 33 BLEque recoge los datos de voz, interpreta el gesto y envía señales a los servomotores y un LED RGB para comunicar la acción en curso.
Para reconocer ciertas palabras clave, Ex Machina recopiló 3,5 horas de datos de audio distribuidos en un total de seis etiquetas que cubrían las palabras “uno”, “dos”, “OK”, “rock”, “pulgares arriba” y “nada”. – todo en portugués. A partir de ahí, las muestras se agregaron a un proyecto en el Borde de estudio de impulso y enviado a través de un bloque de procesamiento MFCC para una mejor extracción de voz. Finalmente, se entrenó un modelo de Keras con las características resultantes y se obtuvo una precisión del 95 %.
Una vez implementado en Arduino, el modelo recibe continuamente nuevos datos de audio del micrófono incorporado para que pueda deducir la etiqueta correcta. Finalmente, una declaración de cambio establece cada servo en el ángulo correcto para el gesto. Para obtener más detalles sobre la mano biónica activada por voz, puede leer el artículo de Ex Machina Redacción de Hackster.io aquí.
Puede seguir cualquier respuesta a esta entrada a través de la fuente RSS 2.0. Puedes deja una respuestao trackback desde su propio sitio.