Нейросетевые вокодеры — Сергей Дуканов

• Сергей Дуканов из Mail.ru Group рассказывает о разработке движка для синтеза речи.  

• Обсуждается, что такое звук и его свойства.  

• Сигналы имеют дискретность по времени и амплитуде, что позволяет проводить различные операции.  

• Спектрограмма представляет собой комплекснозначную матрицу, но обычно работают с амплитудами.  

• Слух человека нелинеен в пространстве частот, поэтому используется логарифмическое скалирование для получения мел-спектрограммы.  

• В докладе обсуждаются энтуэ подходы в синтезе речи, где модель обучается целостно.  

• Вакодеры преобразуют сжатое представление аудио в сам аудиосигнал.  

• Первая статья о вакодерах была опубликована DeepMind.  

• Тактрон — это модель для синтеза речи, обучаемая на парах текст-аудио.  

• Алгоритм Гриффин-Лим восстанавливает фазы комплексных чисел в линейной спектрограмме.  

• В случае с токомрон, модель обучается с использованием MS-LOS, что размывает детали спектра.  

• Алгоритм Гриффин-Лим помогает восстановить оригинальный сигнал.  

• Токатрон может обобщаться и синтезировать речь для новых слов.  

• Модель чувствительна к пунктуации и интонации.  

• Google улучшил качество синтеза, заменив алгоритм Гриффин-Лим на нейросетевой вакодер.  

• Возможность добавления интонаций и эмоций к синтезированной речи.  

• Использование корпуса текстов для обучения модели.  

• Модуль Style-Beding синтезирует вектор, который подается на вход энкодера для добавления стиля.  

• Формула разложения в произведение условных вероятностей.  

• Моделирование распределения сигналов в пространстве сигналов.  

• Использование авторегрессионной модели для синтеза речи.  

• Обучение сетки для моделирования распределения сигналов.  

• Параллельное обучение и инференция.  

• Синтез следующего сэмпла на основе предыдущих.  

• Описание блоков в модели.  

• Агрегация векторов и предсказание следующего сэмпла.  

• Использование софтмакса для генерации следующего сэмпла.  

• Модель обучена на корпусе иностранных языков.  

• Синтез сигнала без информации о цели.  

• Использование кондишинга для ограничения синтеза.  

• Медленность модели WaveNet.  

• Параллельная оптимизация и методика ProIL.  

• Введение модели WaveRNN для упрощения синтеза.  

• Простая структура модели WaveRNN.  

• Обучение сети на спектрах второго порядка.  

• Преимущества модели в скорости и простоте.  

• Примеры использования WaveRNN для синтеза речи.  

• Простота реализации и обучения.  

• Преимущества в скорости и качестве синтеза.  

• Достижения в синтезе речи и работе с интонацией.  

• Необходимость большого количества качественных данных.  

• Перенос стиля голоса и повышение скорости инференса.  

• Вопрос о проблемах с синтезом русских текстов.  

• Проблемы с обучением на записях с переводов фильмов.  

• Перепробованы различные вакодеры, но результат не достигнут.  

• Вакодер сложно обучить так, чтобы он не обучился.  

• Проблема может быть в некачественных спектрах с модели ТТС.  

• Важно использовать чистые и выровненные данные для обучения.  

• Генерация звука начинается с мел-спектрограммы.  

• Вакодер учится на обученных спектрах ТТС.  

• Градиента от вакодера до ТТС сети нет.  

• Комплексная генерация не имеет смысла из-за потери информации.  

• Предсказание линейного спектра может быть более эффективным.  

• Проблема размытия звука может ухудшить качество.  

• Разбиение на шестнадцать бит улучшает качество обучения.  

• Использование двух софтмакса по 256 классов упрощает обучение.  

• Подход с сэмплированием части сигнала в текущий момент времени дает приемлемое качество.  

• Автор разрабатывает вакодер и звуковой движок.  

• Детали можно обсудить с коллегами в зале.  

• Благодарность докладчику за интересную информацию.