Лекция. TTS: введение и акустические модели

• Задача Text-to-Speech TTS: перевод текста в речь.  

• Рассматриваются метрики, датасеты и модели для решения задачи.  

• На вход поступает текст, на выход - аудиодорожка.  

• Нормализация текста: числа в текст, сокращения в полный текст, перевод к нижнему регистру.  

• Перевод графем в фонемы для облегчения задачи модели.  

• Фронтенд: нормализация и перевод графем в фонемы.  

• Бэкенд: принимает фонемы и дополнительную информацию, генерирует аудиодорожку.  

• Пайплайн из двух моделей: акустическая модель и вакодер.  

• Альтернативный вариант: одна модель, принимающая фонемы и генерирующая звук.  

• Легче обучать и отлаживать.  

• Акустическая модель отвечает за высокоуровневые признаки, вакодер - за низкоуровневые.  

• Нет единой метрики для TTS, используется субъективная метрика MOS.  

• MOS: средний рейтинг по мнению людей, усреднение оценок.  

• Минусы MOS: субъективность, шумность, плюсы: абсолютная шкала.  

• MUSHRA: оценка сгенерированной дорожки по референсной.  

• SITB: сравнение двух сгенерированных дорожек.  

• Робот: тест Тьюринга, оценка натуральности генерации.  

• Суррогатные метрики: вера или сер, оценка предсказаний.  

• Полезны для проверки улучшений модели, но не показывают натуральность генерации.  

• Суррогатные метрики не всегда сравнимы, так как требуют использования одной и той же модели.  

• Метрики не учитывают ударение, шум и другие аспекты аудиодорожки.  

• Задачи спикера когнишин классифицируют спикеров и определяют их принадлежность к множеству.  

• Предобученные модели используются для оценки похожести аудиодорожек.  

• Это полезно для сравнения улучшенных версий аудиодорожек.  

• Метрика спикер эмоушена рекогнишин оценивает эмоциональную схожесть аудиодорожек.  

• Нейролингвистическое моделирование пытается предсказать мост как задачу регрессии.  

• Сетки, обучаемые на сгенерированных аудиодорожках, могут быть шумными.  

• Эти сетки учатся на данных, связанных с контестами, что делает их менее точными.  

• Джей Спич и Либри Спич используются для обучения TTS.  

• Джей Спич содержит 24 часа аудиокниг, записанных в студии.  

• Либри Спич содержит менее шумные аудиодорожки, но все равно шумные.  

• Руслан и Наташа содержат русскоязычные данные.  

• Руслан более шумный, Наташа менее шумная.  

• Мульти лэнгвич датасет содержит 47 часов русского языка, но также шумный.  

• Существуют два подхода к решению задачи выравнивания фонем и милов.  

• Такотрон семейство использует с-сикс теншин для выравнивания.  

• Другие модели предсказывают длительность фонем, что требует дополнительных данных.  

• Докатрон 2 - первая модель, сопоставимая по качеству с речью человека.  

• Инкодер работает на уровне фонем, декодер - на уровне милов.  

• Используется секту стеншн для предсказания следующего хиден стейта декодера.  

• Декодер состоит из двухслойной ЛСТМ и двух голов.  

• Одна голова предсказывает стоп токи, другая - милы.  

• Стоп токи учатся как бинарная классификация, предсказывающая ноль или единицу.  

• Skip Connection: сглаживает предсказанный мел.  

• Post-Net: сглаживает предсказанный мел, который затем идет в вакодер для предсказания аудиодорожки.  

• Принет: два полносвязных слоя с дропаутом для предотвращения предсказания следующего фрейма как предыдущего.  

• LSA Attention использует информацию о распределении внимания для улучшения предсказания.  

• Переиспользование информации с предыдущего фрейма для предсказания следующего.  

• Идея: следующий фрейм будет похож на предыдущий, так как произносится либо та же фонема, либо следующая.  

• Guides помогают регуляризации LSA Attention.  

• LSA Attention линейно растет со временем, так как каждый следующий фрейм смотрит на ту же фонему или следующую.  

• Регуляризация на основе информации о том, что LSA Attention всегда будет линейным.  

• Матрица Alpha используется для регуляризации LSA Attention.  

• Матрица строится на основе длительности последовательности и количества мелов.  

• Значения на диагонали близки к единице, а вне диагонали близки к нулю.  

• Добавление референсной аудиодорожки и референсного энкодера.  

• Референсный энкодер дает вектор значений, который сравнивается с набором эмбедингов.  

• Эмбединги складываются пропорционально весам для создания стиля имбединга.  

• Использование реконструкции LSA Attention для улучшения натуральности и качества голоса.  

• Обучение модели для классификации эмоций по аудиодорожке.  

• Применение реконструкции LSA Attention для наложения стиля на произвольную фотографию.  

• Последний модуль классификации использует линейный слой для определения количества классов.  

• Фичмапа содержит информацию о том, какая эмоция содержится в аудиодорожке.  

• Авторы предобучают модель для распознавания эмоций и используют её для улучшения качества аудиодорожек.  

• Авторы добавляют лос на стиль к лос по милла, чтобы оптимизировать аудиодорожки.  

• Оптимизация лос по стилю улучшает сходство с исходной аудиодорожкой и общее звучание.  

• Статья называется "глобал стайл токин" и преследует те же цели, что и "джей тита катрон".  

• Обсуждаются три способа выравнивания фонем: с помощью ашммки, токатрона и айсар моделей.  

• Каждый способ имеет свои ограничения и преимущества.  

• Пример архитектуры: фас спич первая, которая использует авторегрессивную модель для выравнивания и дистилляции.  

• Фас спич вторая использует аши мем для предсказания длин фонем.  

• Добавляются новые фичи: пич, высота голоса и энергия для улучшения качества произношения.  

• Предсказание фичей происходит на уровне фреймов или фонем, что не сильно влияет на качество.  

• На тренинге используется граунд рус для обучения, а на инференсе - предсказания модели.  

• Это называется тичер форсинг, как в лэнгвич моделях.  

• Эксперименты с иерархическим подходом и архитектурой декодера.  

• Fast Speech 2 не получил особого внимания.  

• Статья Fast Speech практически идентична Fast Speech 2.  

• Отличие в добавлении дополнительной информации до или после копирования.  

• Цель статьи: разделение фичей для подмены голоса.  

• Разделение фичей позволяет легко заменять голос.  

• В статье добавлены предсказания акустических свечей.  

• Обучение моделей на разных спикерах.  

• Иерархическое разбиение фреймов для разделения акустики.  

• Модели легче адаптируются к новым спикерам.  

• Иерархия включает уровни фонем, всей дорожки и спикера.  

• Моделирование акустики на трейне и инференсе.  

• Легче адаптироваться к новым спикерам без привязки к определенной акустике.  

• Цель: избежать переобучения всех параметров.  

• Использование спикера бединга для обучения параметров.  

• На этапе файн-тюнинга обучаются только параметры, связанные со спикером.  

• Ссылки на дополнительные материалы и ресурсы.  

• Призыв подписаться на паблик и посетить семинар.  

• Благодарность за внимание.