Распознавание и синтез речи в Asterisk. Речевые технологии для VoIP

• Вебинар посвящен системам речевой аналитики, синтеза речи и генерации речи.  

• Эксперты: Игорь Гончаровский, Михаил Замятин и ведущий.  

• Использование синтеза речи для автоинформирования клиентов и снятия нагрузки с операторов.  

• Пример работы с компанией, занимающейся обработкой речи для анализа качества.  

• Использование машинного обучения для оценки качества звука без образца.  

• В видео обсуждается задача оценки качества речи, которая может быть решена с помощью машинного обучения и анализа сигнала.  

• Обсуждается термин "MOS" (Subjective Objective Scale), который оценивает качество речи и используется для сравнения разных аудиозаписей.  

• Обсуждается задача разделения речи нескольких говорящих на моносигнале и определение, кто именно говорит.  

• Это сложная задача для машин, но возможна с использованием машинного обучения и анализа звука.  

• В видео обсуждаются сервисы речевой аналитики, которые могут использоваться для распознавания речи, поиска информации и анализа текста.  

• Обсуждается возможность создания своих сервисов речевой аналитики для конкретных задач и потребностей.  

• Важность качественного текста для качественного разговора.  

• Запись разговоров и использование качественных аудиокодеков.  

• Использование приложения Шазам для отключения автоответчиков.  

• Разработка на основе Камео и прокси.  

• Использование диаплана и записанной речи для автообзвона.  

• Использование Яндекс.Синтеза для более дешевого варианта.  

• Проблемы с синтезом вопросительной интонации.  

• Использование чат-ботов и голосовых ботов для автоматизации бизнес-процессов.  

• Запись повторяющихся фраз и интеграция с телефонией и биллингом.  

• Использование лайфхаков для решения проблем без применения синтеза и распознавания речи.  

• Голосовые боты используются для распознавания речи, синтеза речи и создания чат-ботов.  

• Голосовые боты могут быть дорогими и использоваться только в случае уверенности в своем бизнес-процессе.  

• В будущем голосовые боты могут заменить операторов колл-центров, особенно в ситуациях, когда люди не могут добраться до работы.  

• Яндекс предлагает технологии для создания чат-ботов, которые могут заказывать пиццу или товары через свою экосистему.  

• Яндекс также предлагает возможность создания кастомных озвучек для своих чат-ботов.  

• Замена колл-центров на голосовые боты может привести к снижению количества звонков и уменьшению количества доходящих до результата звонков.  

• Однако, если проблемы абонентов могут быть решены без общения с оператором, голосовые боты могут быть полезными.  

• В видео обсуждается использование чат-бота на уровне Авиар для работы с клиентами.  

• Упоминается использование платформы войск навигатор отцррт для синтеза и распознавания речи, но автор затрудняется сказать, когда это было в последний раз.  

• Сфинкс - старый, но академический интерес, может использоваться для простых командных меню.  

• Калди - новый подход распознавания речи, собран в докер, легко запускается, может использоваться для разных языков.  

• Демонстрация работы Калди на примере распознавания речи.  

• Примеры для Python, Hp, и других языков.  

• Запуск собственного примера с аудиозаписью на русском языке.  

• Обсуждение возможных проблем с распознаванием речи.  

• Обсуждение использования систем распознавания речи для бизнеса, таких как распознавание телефонных разговоров и голосовых сообщений.  

• Рекомендация использовать систему Яндекс для распознавания речи, так как она справляется с распознаванием на хорошем уровне.  

• Вопрос о подключении Калди к другим системам распознавания речи.  

• Ответ: можно использовать другие системы для обучения и улучшения распознавания.  

• Вопрос о совместимости Калди с Юнисипи.  

• Ответ: использование Юнисипи может быть полезным для интеграции с другими системами, но не обязательно.  

• Вопрос о донат и поддержке стрима.  

• Ответ: можно сделать репост стрима, поставить лайк и сделать донат.  

• Вопрос о практических кейсах использования распознавания речи.  

• Ответ: примеры включают распознавание голоса для определения клиента, голосовое меню для клиентов и другие задачи.  

• Обсуждение реализации кейсов с индикацией эмоциональности речи звонящего и распознавания голосовых файлов.  

• Упоминается возможность использования астерконфа для живого общения и обмена опытом.  

• Обсуждение реализации биометрии на основе нейросети и интеграции с сервисами распознавания речи.  

• Упоминается пример компании Мико, которая использует сложные алгоритмы для прогнозирования и рекомендации контактов.  

• Советы по использованию готовых сервисов для быстрого создания голосовых меню и интеграции с системами распознавания речи.  

• Рекомендации по изучению астеристского и использованию его для реализации голосовых сервисов.  

• Видео обсуждает распознавание речи и синтез, а также их применение в различных бизнес-процессах.  

• Автор объясняет, что распознавание речи может быть использовано для подтверждения заказа, но также может столкнуться с проблемами, такими как распознавание адресов.  

• Автор обсуждает возможность распознавания сердечного ритма и эмоций по голосу, но отмечает, что это сложные задачи и требует дополнительных исследований.  

• Автор рекомендует курсы по распознаванию речи от Яндекса, МТИ, Deep Speech и Tensor Flow, а также проект Deep Speech на YouTube.  

• Автор также обсуждает требования к ресурсам для распознавания пятидесяти одновременных разговоров, предполагая, что это может потребовать двух ядер и двух гигабайт памяти.  

• Обсуждение возможности использования авторизации по голосу для идентификации абонента.  

• Упоминается, что лучше использовать авторизацию по голосу в качестве вспомогательного инструмента, а не основного.  

• Оператор связи может использовать ключевые слова для фильтрации спама.  

• Можно использовать готовые библиотеки для анализа и фильтрации ключевых слов.  

• Используются видеокарты для обработки данных и обучения моделей.  

• Яндекс использует 150 серверов и 250 видеокарт для проекта "Алиса".  

• Задача масштабируется хорошо, поэтому проблем с ресурсами нет.  

• В законе Яровой нет выборки по словам, весь анализ должен совершать ФСБ.  

• Возможно ли распознать ложь или правду в ответе?  

• Нет готовых кейсов, игры и сериалы могут помочь.  

• Используются тензор флоу и интерфлоу для распознавания слов.  

• Есть аппаратные модули для распознавания голоса, например, видеокарты.  

• Яндекс Печки: потоковое распознавание, распознавание коротких и длинных файлов.  

• Тинькофф Скит: собственная разработка, обучались на аудиокнигах и YouTube.  

• Яндекс: потоковое распознавание и распознавание длинных аудио.  

• Яндекс имеет проблемы с вероятностью распознавания и одинаковые гипотезы для всех предложений.  

• Тинькофф распознает жаргонные слова, Яндекс - нет.  

• Обсуждение различных систем распознавания речи, включая центр речевых технологий, вид ай, гугл, амазон, тензор флоу, дип спич и другие.  

• Упоминается, что некоторые системы имеют проблемы с распознаванием русского языка.  

• Обсуждение результатов сравнения систем по точности распознавания, скорости и вр (расстояние либинштейна).  

• Упоминается, что яндекс и калди имеют лучшие результаты, но яндекс использует потоковое распознавание, которое могло бы быть лучше для этой фразы.  

• Обсуждение синтеза речи, включая яндекс и тиньков.  

• Упоминается, что тиньков готовит к продакшну женский голос.  

• Яндекс использует вайф нет для синтеза голоса, основанную на мел скептральных коэффициентах.  

• Видео обсуждает различные аспекты речевых технологий, включая синтез речи и определение эмоционального окраса речи.  

• Отмечается, что синтез речи является незаконченным продуктом, но может быть полезным инструментом для обучения.  

• Обсуждаются два подхода к эмоциональному окрасу речи: спектрограммы и графы.  

• Спектрограммы используются для определения эмоционального окраса речи, но этот подход считается плохим и редко используется.  

• Графы, которые включают семантический анализ речи, считаются более качественными и используются чаще.  

• Семантический анализ - это этап в последовательности действий алгоритма автоматического понимания текстов, который заключается в выделении семантических отношений и формировании семантического представления текстов.  

• Семантический анализ выполняется с использованием нейронных сетей и других математических методов.  

• Примеры семантического анализа включают определение согласия человека с утверждением и понимание контекста разговора.  

• Семантический анализ речи используется в больших фирмах с большими бюджетами.  

• Подготовка датасета и логической модели занимает много времени и денег.  

• Определение пола и возраста по голосу возможно при большом датасете.  

• Определение фоновых шумов и определение языка также возможно.  

• Изменение голоса возможно с помощью приложения на гитхабе.  

• Подмена голоса и видео также возможны, но это противозаконно.  

• Идея: собрать образцы всех известных движков синтеза речи, включая Алису, и провести биометрию.  

• Вопрос: можно ли выделить статистические паттерны в разговоре и узкие места в бизнес-сценарии общения с посетителями?  

• Ответ: да, это возможно, но требует больших инвестиций и подготовленного математика.  

• Вопрос: как коррелируют общение, ответы по имейлу и перезванивание с бизнес-результатами?  

• Ответ: это называется бизнес-семантическим анализом, который позволяет понять, правильно ли менеджеры говорят и следуют ли инструкциям.  

• Вопрос: есть ли разница в распознавании между Tinkoff и Caldi?  

• Ответ: теоретически Caldi можно обучить распознавать Tinkoff, но большинство систем полностью переобучаются.  

• Вопрос: что передается в TensorFlow для обучения текста или аудио?  

• Ответ: текст и аудио синхронизируются, также передается алфавит.  

• Модель в виде файла, который затем используется для распознавания.  

• Обсуждение вопроса о наличии вменяемых опенсорс решений по синтезу речи.  

• Рекомендация использовать Deep Speech для точности распознавания, как в Тинькофф.  

• Обсуждение актуальности устаревающих способов интеграции голосовых приложений: нативные, сторонние и экзотика.  

• Обсуждение типов задач при обработке речи: синтез, распознавание, анализ.  

• Примеры старых способов взаимодействия с голосом: ASTRI Speech API, UNI API, YAGI API.  

• Обсуждение проблем и ограничений каждого из этих решений.  

• Обсуждение методов перехвата и обработки звонков, которые могут быть использованы без дополнительных технических знаний.  

• Упоминается возможность записи раздельно каналов и последующей обработки.  

• Стазис - приложение, которое позволяет управлять звонками и обрабатывать их через веб-сокеты.  

• Стазис может быть использован для управления звонками и обработки их через веб-сокеты.  

• Обсуждение возможности создания системы для распознавания и блокировки спамеров.  

• Упоминается возможность создания базы данных с речевыми фрагментами спамеров для дообучения системы.  

• В видео обсуждается возможность создания голосовых ботов, которые могут быть использованы для автоматизации процессов в компаниях.  

• Упоминается, что для этого необходимо создать базу данных с признаками спамерских звонков и добавить новые голоса в базу.  

• Обсуждается использование экстренного медиа для отправки и приема звонков из или внешней системы.  

• Упоминается, что автор видео уже использовал экстренное медиа в прошлом году.  

• В видео демонстрируется скрипт, который позволяет общаться с голосовыми ботами и распознавать речь.  

• Обсуждается возможность настройки распознавания через разные ресурсы, такие как Яндекс и Тиньков.  

• В видео показывается, как голосовые боты распознают речь и отвечают на вопросы.  

• Обсуждается, что основная цель голосовых ботов - провести диалог с клиентом и отправить его во внешнюю систему для анализа.  

• Видео обсуждает различные технологии распознавания речи, включая мел-спектральную диаграмму, магнитудную спектральную диаграмму и мел-спектральную диаграмму.  

• Обсуждаются различные методы и подходы к распознаванию речи, включая использование библиотек Python и TensorFlow.  

• Упоминаются дополнительные решения, такие как Monitor, который позволяет записывать разговоры и анализировать аудио, и SIPREK, который позволяет передавать голос в сторону от основного приложения.  

• Рекомендованы курсы и статьи по распознаванию речи, включая YouTube-каналы, Telegram-каналы и научные статьи.  

• Отмечается, что TensorFlow - это единственная часть открытого исходного кода, где не очень хорошо отвечают на вопросы на GitHub.  

• Обсуждение использования голосовых технологий в общении с клиентами и роботами.  

• Упоминается, что большинство роботов тупят и не всегда комфортны для общения.  

• В большом бизнесе голосовые технологии могут использоваться для защиты от звонков клиентов.  

• В такси голосовые технологии могут быть полезны для обработки звонков и снижения стоимости обработки.  

• Обсуждение вопросов о применении голосовых технологий в такси и продаже масок.  

• Упоминание о том, что историки пока не уверены в точном годе рождения Христа.  

• Обсуждение возможности кустарного способа получения звука из Asterisk в реальном времени.  

• Участники обсуждают вопросы, связанные с асинхронным программированием, обучением новым языкам и использованием калди для распознавания речи.  

• Эксперт объясняет, что для обучения калди необходимо подготовить дата-сет с голосовыми файлами и тайм-кодом, а также раскадровку этих файлов.  

• Эксперт отвечает на вопросы о качестве голоса, использовании меток и метрик для оценки качества, а также о совместном использовании с системами вейп-мониторинга.  

• Эксперт также отвечает на вопросы о работе с звонками в статисе и контроле над ними.  

• Эксперт благодарит участников за интерес к теме и предлагает им задавать вопросы в телеграмме или в группе.  

• Эксперт призывает участников присоединиться к общению и предлагает им писать идеи для новых вебинаров и статей с хэштегом "идея".