Detección de un bebé que llora con tinyML y datos sintéticos
Equipo Arduino — 24 de abril de 2023
Cuando un bebé llora, casi siempre se debe a que algo anda mal, lo que puede incluir hambre, sed, dolor de estómago o demasiado ruido, entre otros. En su proyecto, Nurgaliyev Shakhizat demostró cómo pudo aprovechar las herramientas de ML para construir un sistema de detección de llanto sin necesidad de recopilar datos del mundo real.
El proceso es el siguiente: ChatGPT genera una serie de indicaciones de texto que involucran a un bebé llorando de alguna manera. Estas indicaciones luego se pasan a AudioLDM, que crea sonidos basados en las indicaciones. Finalmente, Shakhizat usó integración de herramientas de aprendizaje automático Arduino Cloudimpulsado por Edge Impulse, para entrenar un modelo tinyML para implementar en un Tarjeta de voz Arduino Nicla. Para crear los propios sonidos, Shakhizat configuró un entorno virtual de Python con el paquete audioldm instalado. Su secuencia de comandos toma la lista de indicaciones, las ejecuta en un comando CLI de AudioLDM y guarda los datos de sonido generados como un archivo WAV.
Después de completar este proceso, configuró un proyecto en Edge Impulse Studio que entrena un modelo clasificador. Una vez que se completó el entrenamiento, el resultado fue un modelo que podía distinguir con precisión entre el ruido de fondo y el llanto de un bebé el 90 % de las veces, y su implementación en Arduino Nicla Voice mostró la efectividad del uso de conjuntos de datos sintéticos y modelos integrados en el real. mundo. .
Para más información, puede consultar el Shakhizat’s escribe aquí en Hackster.io.
Puede seguir cualquier respuesta a esta entrada a través de la fuente RSS 2.0. Puedes deja una respuestao trackback desde su propio sitio.