Синтез выразительной речи для аудиокниг | Степан Комков, Яндекс Поиск

• Степан Комков представляет службу синтеза речи Яндекса.  

• Основные продукты: голос Алисы, сервис перевода видео, виртуальный рассказчик для сервиса "Букейт".  

• Фокус на фундаментальные исследования для опережения конкурентов.  

• "Букейт" содержит 250 тысяч книг.  

• Пользователи слушали книги через браузер, что стало сигналом для улучшения качества озвучивания.  

• Использование профессиональных дикторов оказалось дорогим, поэтому решили использовать синтез речи.  

• Использование стека технологий для коррекции синтеза.  

• Решение использовать чистый синтез без полировки человеком.  

• Цель: сделать продукт дешевле и качественнее.  

• Важность понимания запросов пользователей.  

• Причины использования небольших моделей: ошибки, контроль, время.  

• Переход к обсуждению запросов пользователей для аудиокниг.  

• Пользователи хотят мягкий, обволакивающий голос.  

• Важность не монотонной манеры речи и иерархии пауз.  

• Пользователи отмечают важность разнообразных паттернов интонации и звуков дыхания.  

• Использование базового стека и моделей старого поколения.  

• Проблемы с записью аудиокниг и выбор профессиональных дикторов.  

• Запись пробных данных и выбор лучших дикторов.  

• Запись 300 часов данных и обучение базового стека.  

• Получение мягкого, обволакивающего голоса и не монотонной манеры речи.  

• Модель выдает то, что было на входе, благодаря дикторам.  

• Улучшение базовой технологии для синтеза речи.  

• Проблемы с иерархией пауз и авторская пунктуация.  

• Обучение на презентативном корпусе и контроль пауз.  

• Вход текста и преобразование в фонемную последовательность.  

• Акустическая модель переводит фонемную последовательность в мектограмму.  

• Вакодер переводит мектограмму в звук.  

• Авторегрессионная модель для предсказания следующего шага.  

• Использование ground-truth для улучшения синтеза.  

• Контроль пауз через карту внимания и обучение модели.  

• Проблемы с вариативностью синтеза и использование PngBert.  

• PngBert исправляет ошибочные фонемы и учитывает контекст.  

• Улучшение качества синтеза с PngBert.  

• Продуктовое решение для синтеза речи.  

• Важность дыхания и эмоций в синтезе.  

• Использование нексгена и диффузионных моделей для улучшения качества.  

• Модель TAR-TOS для синтеза речи.  

• Преобразование звука в набор слов и использование диффузионных моделей.  

• Мимикрирование под запись диктора и улучшение качества синтеза.  

• GPT-3 может зависать на фоне и повторять слова.  

• Используется стандартный хак для выбора лучшего синтеза.  

• Компании, такие как TikTok и Alibaba, также работают над синтезом звука.  

• Важно контролировать ударение в текстах.  

• Ускорение синтеза на порядок.  

• Превосходство новой технологии над старой на всех уровнях качества.  

• Использование лучшего опенсорсного кода.  

• Ускорение кода на порядок.  

• Исправление багов и внедрение своих трюков.  

• Три основные сущности: текст, аудио и дискретные аудио токены.  

• Запайка звуков тишиной для создания фиксированной длины.  

• Обучение диффузии на двенадцатисекундных токенах.  

• Маскировка слоев для уменьшения размера бача.  

• Динамическое боевание для устранения неинформативных градиентов.  

• Использование микс пресижен для оптимизации обучения.  

• Синтез речи без использования методов контроля.  

• Модель понимает смысл текста и озвучивает его естественно.  

• Сравнение с предыдущей моделью: новая модель выигрывает в одном из трех-четырех текстов.  

• Статьи полезны, но гидхабы также важны.  

• Сначала делайте хорошо, потом гениально.  

• Технология развивается большими скачками, и синтез речи только начинает решаться.  

• Вопросы можно задавать в чате.  

• Базовый стек моделей был представлен на слайде.  

• Модель может мурчать и бурчать, но это требует доработки.  

• Проблемы с авторскими правами решены.  

• Модели используются в различных проектах Яндекса.  

• Переход на новые технологии требует адаптации.  

• Многоголосая озвучка интересна, но не является массовой.  

• Идея озвучивать голосом пользователя не была реализована.  

• Персонализация чтения модели в зависимости от профиля пользователя возможна.  

• Модель адаптирует голос и интонацию в зависимости от контекста.  

• Это зона роста для улучшения качества озвучки.  

• Синтез речи бесконечно улучшается, но профессиональные дикторы все еще лучше.  

• Припроцессор — сложный обучаемый блок.  

• Расстановка пауз может быть сделана алгоритмически.  

• Припроцессор занимаются специально обученные специалисты.  

• Опросы проводятся профессионалами.  

• Используются различные модели, включая HiFiGAN.  

• Обработка преднамеренных ошибок в тексте требует доработки.  

• Планируется обогащение списка спикеров по запросу.  

• Фокус на качественных изменениях, а не на количественных.  

• Модель не может петь, но может читать рэп.  

• Хорошие данные и оператор — ключевые факторы успеха.  

• Взаимодействие с большими данными может быть сложным.  

• Это самая сложная часть работы.  

• Обсуждение вопросов, заданных в зале.  

• Вопросы касаются многоголосой озвучки, адаптации голоса, фонемного представления текста, синтеза речи и обогащения спикеров.  

• Вопросы о том, как обрабатывать ошибки в тексте и может ли модель петь.  

• Вопрос о многоголосности вызвал интерес.  

• Автор вопроса будет связан с разработчиками.  

• Благодарность за аплодисменты.