Как создать голосового агента

• Заключительный вебинар по A-Studio.  

• Обсуждение создания голосовых агентов.  

• Анонс офлайн-встречи для активных участников.  

• Фокус на понимании процесса создания голосового агента, а не на переписывании кода.  

• Код будет предоставлен на GitHub для экспериментов.  

• Основные моменты работы с Realtime API.  

• Эволюция технологий: от фиксированных сценариев до естественного взаимодействия.  

• Появление распознавания и синтеза речи.  

• Развитие диалоговых платформ.  

• Переход от жёстких сценариев к более естественному общению.  

• Надежда на использование естественного языка с развитием LLM.  

• Ограничения LLM и необходимость чёткой постановки задач.  

• Голосовой агент как паттерн построения приложений.  

• Роль LLM как центра управления.  

• Инструкция как ТЗ для LLM.  

• Инструменты для работы с данными: Excel, CRM.  

• Реализация памяти для связанности диалога.  

• Итеративное заполнение информации для выполнения действий.  

• LLM действует по инструкции.  

• Подключение тулов через механизм funtion colliding.  

• Память для сохранения контекста предыдущего общения.  

• Голосовой агент включает распознавание и синтез речи.  

• Вход может быть аудио или текстом.  

• Возможность взаимодействия с различными инструментами, включая MCP и файловый поиск.  

• Большие задержки при использовании Response API.  

• Задержки могут достигать более двух секунд, что неприемлемо в голосовом канале.  

• Голосовой агент должен отвечать в пределах одной секунды.  

• Длинные паузы снижают конверсию и привлекательность продукта.  

• Голосовое взаимодействие требует более живого и естественного ответа.  

• Ожидания от голосового агента выше, чем от текстового.  

• Realtime API оптимизирован для создания голосовых агентов.  

• Инкапсулирует технологии ST, TT и LM.  

• Обеспечивает бесшовное взаимодействие между технологиями.  

• Модель Speed 25.09.23 инкапсулирует взаимодействие сервисов.  

• Эксперименты с архитектурами для сокращения задержек.  

• Поддержка памяти и капсулированных сервисов.  

• Автоматический вызов встроенных инструментов, включая поиск по интернету и файлам.  

• Поддержка протокола Tropica для стандартизации.  

• Возможность вызова с подтверждением для потенциально опасных операций.  

• Мультимодальность: все три сервиса ST, TT и LM под капотом.  

• Speech-to-Text ST — это преобразование речи в текст.  

• Text-to-Speech TTS — преобразование текста в речь, иногда называется синтезатором речи.  

• Минимизация задержек в API.  

• Возможность обучения моделей распознаванию новых данных.  

• Пример обучения терминологии в ювелирной отрасли.  

• Доступны общедоступные и создаваемые голоса.  

• Премиум-голоса записываются профессиональными дикторами.  

• Лайт-голоса можно записать самостоятельно.  

• Поддержка шорт-мемори для ведения диалогов.  

• Перспектива реализации лонг-мемори для сохранения фактов от пользователей.  

• Большие языковые модели LM обучаются на огромных пластах текстов.  

• Упрощение взаимодействия с пользователями по сравнению с интентами.  

• Стандартизация подключения инструментов.  

• Более человекоподобный интерфейс взаимодействия.  

• Непредсказуемость генерации текста LM.  

• Рекомендация использовать сгенерированный текст с долей скептицизма.  

• Слой моделей для Realtime API, включая модель Speech.  

• Слой агентского отеля с Response и Realtime.  

• Оптимизация и сохранение логики при переходе между слоями.  

• Возможность настройки голосовых агентов через UI-консоль.  

• Планы по созданию бэкграунд-интерфейса для создания и сохранения конфигураций агентов.  

• Замена голосовых операторов в поддержке и продажах.  

• Голосовые ассистенты для навигации по сайтам и поиска информации.  

• Перевод в реальном времени, поддержка русского и казахского языков.  

• Передача аудиопотоков от оператора и клиента.  

• Модель конфигурирует подсказки на основе аудио и текстового распознавания.  

• Возможность использования Real-Time API для текстового взаимодействия.  

• Сессия как основной объект взаимодействия, инкапсулирующий настройки и сообщения.  

• Двунаправленный стриминг: обмен сообщениями в реальном времени без ожидания конца реплики.  

• Обмен событиями через JSON-объекты для реализации логики агента.  

• Озвучка ответов модели по мере их появления с помощью стримингового синтеза.  

• Умный чанкер на сервере обрабатывает и выдаёт осмысленные фразы.  

• Сессия содержит конфиг, память и историю взаимодействия.  

• ID сессии можно использовать для отладки.  

• Текущее время жизни сессии — около 15 минут, планируется введение ограничений.  

• События — это JSON-объекты, которыми обмениваются сервер и клиент.  

• Взаимодействие основано на концепции веб-сокетов, знакомой разработчикам.  

• Взаимодействие через API без обёрток, агностичное к языкам.  

• Использование Open SDK, которое предоставляет высокоуровневые сущности и обвязки.  

• Open SDK реализован под JavaScript и Python, не поддерживает другие языки.  

• Разработчики успешно используют Realtime API без SDK.  

• Аккаунт в Яндекс Клауд.  

• А ключ дикаталога.  

• Фолдер как единица изоляции проекта.  

• Сервисный аккаунт с определённой ролью.  

• Настройка инструкции, модальности выхода текстовая, аудио.  

• Поддержка PCM с градацией сэмпл рейта.  

• Настройка детекшн и тулов.  

• Инструкция определяет действия агента.  

• Промт должен быть логичным и понятным.  

• Логика вызова тулов помогает модели лучше ориентироваться.  

• Веб-поиск и файловый поиск.  

• MCP для взаимодействия с внешними сервисами.  

• Подтверждение действий пользователя.  

• Настройка чувствительности и подсказки в миллисекундах.  

• Рекомендованная настройка: порог 0.5 и продолжительность паузы 400 миллисекунд.  

• Задание скорости и типа голоса.  

• Возможность выбора языка озвучивания.  

• Будущая поддержка амплуа голоса.  

• Обсуждение встроенных функций веб-поиска и поиска по документам.  

• Реализация RAG для уменьшения «галлюцинаций» модели.  

• Загрузка документов через File API и создание индекса с помощью Vector API.  

• Акцент модели на определённый домен.  

• Поддержка различных форматов файлов: текстовые, PDF, Excel.  

• Настройка срока жизни индекса и выбор политик.  

• Текущие ограничения: один инструмент File Search Index на агента.  

• Возможность создания агентов в консоли.  

• Файлы можно использовать в разных индексах.  

• Модификация индекса после создания.  

• Примеры обновлений: срочные инструкции, новые продукты.  

• Преимущества модификации индекса.  

• Текущие ограничения поиска в интернете.  

• Будущие возможности: ограничение количества результатов, конкретизация доменов.  

• Примеры событий: транскрипция, дельта ответа, старт спича.  

• Обработка ошибок и возврат звуковых файлов.  

• Создание простого агента с функциями погоды и новостей.  

• Реализация функции погоды с генерацией случайных аспектов и советов.  

• Использование индекса с рекомендациями по чек-листам.  

• Демонстрация взаимодействия с голосовым агентом.  

• Примеры запросов: чек-лист для поездки в Санкт-Петербург, погода в Санкт-Петербурге и Сочи, новости о музеях Санкт-Петербурга.  

• Ответы агента: чек-лист, погода, новости.  

• Голосовой агент с минимальной инструкцией умеет обращаться в индекс, взаимодействовать с файловым поиском и поиском.  

• Реализована возможность перебивания.  

• Утилитные классы упрощают работу с голосом на Python.  

• Утилитные классы добавлены в блок эксперимента SDK на Яндекс.Клауд.  

• SDK позволяет просто взаимодействовать с сущностями облака.  

• Примеры кода будут выложены в репозиторий.  

• Агент-диспетчер распределяет задачи между специализированными агентами.  

• Пример взаимодействия трёх сущностей: диспетчер, агент по часто задаваемым вопросам, агент по букингу мест.  

• Владислав, диспетчер, помогает с бронированием мест.  

• Кирилл, агент по бронированию, запрашивает номер бронирования.  

• Валерия, агент по правилам авиакомпании, отвечает на вопросы о багаже.  

• Возможность работы с SIP и файловым поиском.  

• Кастомизация сайтов для взаимодействия с голосовыми агентами.  

• Облегчение интеграции с телефонией.  

• Отсутствие встроенного шумодава, модель обучалась на грязных аудио.  

• Блокировка вопросов, не относящихся к голосовому чату, через инструкции.  

• Активное слушание можно реализовать самостоятельно.  

• Технология потокового синтеза доступна не только в Real Time.  

• Задержки при синхронном переводе минимальны, меньше одной секунды.  

• Возможность получения текстовых подсказок без синтеза.  

• Эмоциональность копируется через амплуа, можно записать несколько амплуа для разных ролей.  

• Обсуждение использования связки «Сон апель» и «Реалтайм» для распознавания речи и выдачи ответов текстом.  

• Упоминание настройки суммаризации в «Спичке» для обработки аудио по результатам распознавания.  

• «Реалтайм» обеспечивает высокую скорость ответа, но требует больше ресурсов.  

• Подчёркивается важность оптимизации и абстракции взаимодействия с моделью.  

• «Реалтайм» автоматически сглаживает задержки для комфорта пользователя.  

• Планируется добавление встроенной функции для обеспечения такого взаимодействия.  

• Для интеграции с разными телефонами требуется написание SIP-сервера.  

• Текущая возможность привязки существующего текстового агента к «Реалтайму» отсутствует, требуется создание нового агента.  

• Возможность передачи управления другому голосовому агенту при смене темы.  

• Ограничения на выбор модели при переключении между агентами.  

• Модель пытается обработать ошибки и вернуть ответ пользователю.  

• Рекомендации по оптимизации настроек сессии и детекшна для минимизации задержек.  

• Обсуждение создания кастомного агента для пожилых людей.  

• Предложение использовать переписку с родственниками как индекс для ответов.  

• Рекомендация начать с использования «Алисы» для общения с пожилыми людьми.  

• Рекомендация посетить репозитории, документацию и сообщество в Telegram.  

• Подчёркивание важности фидбека и взаимодействия с сообществом.  

• Анонс офлайн-встреч для активных участников комьюнити.  

• Призыв задавать вопросы и делиться опытом в сообществе.