Распознавание и генерация аудио с помощью ИИ

• Проект посвящен искусственному интеллекту и его применению в бизнесе, разработках и личной жизни.  

• Большая часть материалов доступна на YouTube и сайте проекта.  

• Сегодняшняя тема - мультимодальность, особенно речь и голос.  

• Спикеры: Александр Константинов и Анатолий Разумовский из компании "Рафт".  

• Они занимаются внедрением искусственного интеллекта в бизнес-процессы.  

• Вопросы можно задавать в чате или в конце презентации.  

• Шесть этапов работы с аудио: захват звука, предварительная обработка, сегментация, распознавание речи, транскрипция и пост-обработка.  

• Примеры использования: голосовые помощники, автоматизация колл-центров, расшифровка звонков.  

• Модели могут поставляться у провайдеров: API сторонние, Сбер Салют, Яндекс Печки, Sonic, Speech2Text.  

• Sonic - лучший, но дорогой, для русского сегмента - Сбер Салют и Яндекс Печки.  

• Опенсорс модели: Whisper, Fast Whisper, T5, и другие.  

• Инференс: облачные провайдеры, Replit, и собственные решения.  

• Крупные модели требуют больших ресурсов, урезанные модели - меньше.  

• Сбер Салют предлагает премиальные опции для больших нагрузок.  

• Анатолий рассказывает о важности качества записи для распознавания речи.  

• Модели начинают галлюцинировать при скорости потока ниже 8 кбит/с.  

• Рекомендуется использовать записи с качеством не менее 32 кбит/с для стабильного распознавания.  

• Фоновые шумы и другие звуки могут влиять на качество распознавания.  

• Модели могут слышать музыку, оповещения и другие звуки, что ухудшает результат.  

• Важно учитывать фоновые шумы при использовании систем распознавания речи.  

• Вер сравнивает распознанное предложение с эталонным текстом.  

• Чем больше изменений требуется для получения эталонной строки, тем хуже результат.  

• Используются также показатели сер, ц, си и р для оценки точности символов и предложений.  

• Сентенс рейд сравнивает целые предложения, а не отдельные слова.  

• Лер считает процент некорректно распознанных начальных форм слов.  

• Лер требует базу данных начальных форм слов, но не требует эталонной фразы.  

• Метрики, такие как вер и лер, могут быть неточными в реальных условиях.  

• Модели, хорошо работающие на студийных записях, могут не подходить для реальных условий.  

• Важно подбирать модели для конкретных задач и условий.  

• Сравниваются вектора, построенные из распознанных предложений и исходного текста.  

• Чем больше совпадают вектора, тем ближе распознанная речь к эталонной.  

• Включает три показателя: точность сходства предложений, точность смысла в тексте и усредненное значение.  

• Фреймворк позволяет загружать исходный файл и транскрибацию для получения метрик.  

• Лер-метрика уже доступна и используется для оценки качества.  

• Показатели верификации VER на реальных записях значительно хуже, чем на синтетических.  

• SER показывает хорошие результаты, но LER ниже.  

• Данные взяты из реальных записей разговоров в сфере продаж и обслуживания.  

• Знаки препинания не влияют на оценку модели.  

• Примеры показывают, что знаки препинания не имеют большого значения для анализа.  

• Транскрибация от разных моделей показывает разные результаты.  

• Примеры показывают, как меняются показатели при изменении фразы.  

• Удаление букв ухудшает показатели VER, но улучшает SER.  

• Перемещение слов улучшает показатели, но ухудшает SER.  

• Яндекс.Спеч и Сбер улучшили свои показатели за последние месяцы.  

• Сбер показал лучшие результаты на стабильных записях.  

• Регулярные замеры помогают предлагать новые предложения заказчикам.  

• Пример анализа аудио с использованием LLM.  

• Код доступен для скачивания, включает распознавание аудио и анализ текста.  

• Пример использования для автоматизации проверки колл-центров и улучшения качества обслуживания.  

• Процесс разделения на спикеров называется идеализация.  

• Отличается от автоматической транскрипции добавлением лейблов для разных спикеров.  

• Используются предобученные модели, такие как ПЭ и ТОТ, и технология N-видео Немо.  

• Модели плохо справляются с разделением спикеров при одновременном разговоре нескольких людей.  

• Большое количество участников усложняет задачу.  

• Решение: физическое распределение спикеров по каналам и пост-обработка с использованием больших языковых моделей.  

• Модели позволяют синтезировать речь из текста для голосовых помощников, автоответчиков и других приложений.  

• Примеры: Яндекс Печкад, Сбер Салют, Яндекс Спикид и другие.  

• Опенсорс модели доступны на GitHub и других ресурсах.  

• Пример чат-бота с использованием Яндекс Печкад и Яндекс G52.  

• Бот работает быстро, генерируя ответы за 2-3 секунды.  

• Возможность интеграции в колл-центры для автоматического ответа на вопросы клиентов.  

• Возможность синтеза голоса на основе аудио.  

• Платные и опенсорс модели для клонирования голоса.  

• Профессиональное клонирование голоса в России предоставляет Сбер.  

• Вопросы о выборе моделей для транскрибации рабочих созвонов и переговоров.  

• Рекомендации по использованию моделей Випер и Смол для разных языков.  

• Важность использования пайпе и очистки звука для корректной работы моделей.  

• Очистка аудио не требуется, так как нейросети справляются с этим.  

• Нейросети понимают, какая часть звука важна, а какая является шумом.  

• В некоторых случаях нейросети могут "сходить с ума" из-за фоновых звуков.  

• Рекомендуется не очищать аудио, чтобы избежать ошибок и циклов.  

• Лучше потерять немного данных, чем усложнять сервисы.  

• Важно учитывать задачи и затраты на инфраструктуру.  

• Сервисы, такие как Hang Face и Replica, удобны для разработки, но не для продакшна.  

• Сервисы могут иметь очереди и нехватку ресурсов.  

• Rampot предлагает быстрый запуск модели и отсутствие очередей.  

• LLMs могут выбирать подходящий вариант слова по контексту.  

• Виспер использует пост-обработку с LLM для улучшения результатов.  

• Настройки температуры и слов-подсказок помогают в распознавании.  

• Виспер лучше работает с аудиофайлами до 25 МБ.  

• Модели от Яндекса и Сбера могут обрабатывать большие файлы без потери контекста.  

• Важно дробить большие аудиофайлы на части для лучшей работы.  

• Виспер подходит для распознавания голоса на разных языках.  

• Важно высокое качество записи для корректной работы.  

• Виспер справляется с распознаванием смешанных языков.  

• Яндекс поддерживает стриминговое распознавание и генерацию.  

• Синхронный перевод пока не реализован в продакшне.  

• Стартап Air.ai показал хорошую демку, но технология требует доработки.  

• Технологии могут развиваться быстрее с улучшением вычислительных мощностей.  

• Новые чипы и видеокарты ускорят развитие нейронных сетей.  

• Ожидается, что технологии будут улучшаться быстрее, чем через два года.  

• Компания MD заявила о готовности конкурировать с VIDE.  

• Выпущена карта для задач, связанных с видео.  

• Ожидание дальнейших шагов от компании.  

• Задача: записывать разговоры ремонтников и распознавать их в текст.  

• Вопрос о языке: русский и казахский.  

• Рекомендация использовать казахский датасет для улучшения модели.  

• Необходимость большого количества записей для обучения модели.  

• Важность разметки каждого слова в записи.  

• Возможность заказа фантюнинга для локальных языков.  

• Две задачи: превращение голоса в текст и обработка текста нейронной сетью.  

• Пример: диспетчерская служба с узкими темами общения.  

• Архитектура для решения задачи: использование бота и настройка правил поведения.  

• Вопрос безопасности: ограничение выдачи данных и тем.  

• Возможность взлома LLM через инъекцию данных.  

• Две задачи: ограничение случайной выдачи и целенаправленной атаки.  

• Проблема задержки в ответах ботов.  

• Варианты решения: использование синтезированных звуков и уточнение данных.  

• Разработка мультимодальных моделей для быстрого ответа.  

• Важно, чтобы пользователь понимал, что нужно ждать.  

• Музыка или дыхание могут быть использованы для заполнения времени.  

• Нет универсальной метрики для оценки качества модели, нужно смотреть на комплекс метрик в зависимости от задачи.  

• Метрики должны комбинироваться для полного понимания.  

• Качество моделей быстро меняется, нужно следить за обновлениями.  

• Вебинары проводятся регулярно, чтобы оставаться на волне изменений в технологиях.  

• Вебинар уложился в тайминг, что редкость.  

• Призыв подписаться на канал и смотреть другие вебинары.  

• Благодарность участникам за участие и вопросы, обещание новых вебинаров в будущем.