Detección de palabras clave poco desordenadas para idiomas de bajos recursos con Nicla Voice
Equipo Arduino — 6 de julio de 2023
El reconocimiento de voz es omnipresente en estos días, pero algunos idiomas, como el kazajo nativo de Shakhizat Nurgaliyev y Askat Kuzdeuov, carecen de conjuntos de datos públicos lo suficientemente grandes como para entrenar modelos de detección de palabras clave. Para cerrar esta brechael dúo exploró la generación de conjuntos de datos sintéticos utilizando un sistema neuronal de texto a voz llamado Piper, y luego extrajo comandos de voz del audio con el kit de herramientas de reconocimiento de voz Vosk.
Más allá de simplemente construir un modelo para reconocer palabras clave a partir de muestras de audio, el objetivo principal de Nurgaliyev y Kuzdeuov también era implementarlo en un objetivo integrado, como una computadora de placa única o un microcontrolador. Al final, se fueron con el Voz Arduino Nicla placa de desarrollo porque no solo contiene un SoC nRF52832, un micrófono y una IMU, sino también un NDP120 de Syntiant. Este procesador de decisión neuronal especializado ayuda a acelerar drásticamente los tiempos de inferencia a través de aceleradores de hardware dedicados y, al mismo tiempo, reduce el consumo de energía.
Una vez que se seleccionó el hardware, el equipo comenzó a entrenar su modelo con un total de 20,25 horas de datos de voz generados que abarcan 28 clases de salida distintas. Después de 100 épocas de entrenamiento, logró una precisión del 95,5 % y solo consumió alrededor de 540 KB de memoria en el NDP120, lo que lo hace bastante eficiente.
Para obtener más información sobre el proyecto de Nurgaliyev y Kuzdeuov y cómo implementaron un modelo de aprendizaje automático integrado entrenado únicamente en datos de voz generados, consulte su artículo. aquí en Hackster.io.
Puede seguir cualquier respuesta a esta entrada a través de la fuente RSS 2.0. Puedes deja una respuestao trackback desde su propio sitio.