Esp32: распознавание речи нейросетью (TensorFlow Lite)

• Объяснение цели видео: обучение микроконтроллера USB32 распознаванию голосовых команд с помощью нейронных сетей.  

• Упоминание о доступности кода проекта на GitHub.  

• Демонстрация работы микроконтроллера с четырьмя командами: «ноль», «один», «два», «три».  

• Использование голосовых команд для управления светодиодами.  

• Рекомендация проекта пользователя «Атомик14» на YouTube.  

• Использование скетча 01_iNEP441_collegedataset из репозитория на GitHub.  

• Подключение микрофона MP441 по схеме.  

• Загрузка скетча на микроконтроллер и настройка данных домашней Wi-Fi сети.  

• Получение IP-адреса микроконтроллера и доступ к веб-интерфейсу.  

• Запись команд через веб-интерфейс и построение спектрограмм.  

• Пример записи команды «один» и её спектрограммы.  

• Загрузка аудиофайлов в папку «датасет» на GitHub.  

• Подготовка данных для обучения нейросети.  

• Преобразование аудиофайлов в спектрограммы с помощью преобразования Фурье.  

• Объяснение процесса преобразования и его важности для обучения нейросети.  

• Метод аугментации для увеличения обучающей выборки.  

• Примеры аугментации: сдвиг по времени, добавление белого шума, рандомное усиление, тайм-маскирование.  

• Разбивка датасета на тренировочную и тестовую выборки.  

• Запуск процесса обучения сверточной нейронной сети.  

• Оценка точности предсказаний модели.  

• Визуализация процесса обучения по эпохам.  

• Анализ confusion matrix для тестовой выборки.  

• Рекомендации по улучшению датасета на основе анализа ошибок.  

• Конвертация модели в облегчённый формат для загрузки в USB32.  

• Появление облегчённой модели в папке «python_iNEP441».  

• Модель будет загружена в микроконтроллер через USB 3.2.  

• Модель определяет команды, захваченные микрофоном.  

• После квантования модель стала легче и точнее.  

• После квантования точность модели составила 97,5%.  

• Модель стала достаточно лёгкой для передачи на микроконтроллер.  

• Структура модели и её веса должны быть скопированы в файл tensorflow_lite_module.a.  

• Содержимое файла tensorflow_lite_module.a нужно заменить на содержимое файла module.ccc после обучения модели.  

• После замены содержимого файлов можно загрузить скетч 02mp441tfl_cnn на микроконтроллер.  

• Ожидается демонстрация работы модели, как в начале ролика.  

• Благодарность за внимание и прощание.