🎙️ ИИ-секретарь на открытых LLM: от транскрипции до протокола за 20 секунд

• Канал посвящен применению искусственного интеллекта и больших языковых моделей для повышения личной эффективности и бизнеса.  

• Сегодняшняя тема - извлечение новых ценностей из записей видеоконференций.  

• Рассматривается кейс с хакатона "Цифровой прорыв" по разработке автоматического секретаря для внутренних совещаний правительства РФ.  

• Протоколы совещаний важны для дальнейшего движения и формирования результатов.  

• В крупных компаниях и правительстве протоколы составляются тщательно и досконально.  

• Процесс составления протоколов требует много времени и ресурсов.  

• Задача: разработать телеграм-бота для анализа записей совещаний, генерации транскрипций и формирования протоколов.  

• Команда из 59-го региона разработала бота "Елизар", который использует библиотеку Виспер Лач для распознавания и транскрибации аудиозаписей.  

• Бот обрабатывает восьмиминутный аудиофайл за 20 секунд и поддерживает диалоги на английском языке.  

• Команда не выполнила автоматическое определение спикеров, что требует ручного вмешательства.  

• Планируется улучшение проекта для автоматического определения спикеров по сигнатуре голоса.  

• Бот доступен на GitHub, но в данный момент выключен.  

• Промты команды включают задачи по обработке текста, назначению встреч и подготовке корреспонденции.  

• Модель должна извлекать информацию из текста совещания и представлять ее по шаблону.  

• Важно указывать тему, протокол, дату и другие ключевые элементы.  

• Команда разработала телеграм-бота "Метис" для внутренних совещаний.  

• Бот использует два подхода для распознавания: войс аудишн и нарезку голосовых фрагментов.  

• Проводится сопоставление аудиодорожек с сэмплами голоса для верификации и подстановки имен спикеров.  

• Команда сравнила несколько языковых моделей для транскрибации, включая Виспер Лач и Гига Акустик Модуль от Сбера.  

• Гига Акустик Модуль показал лучшие результаты по отдельным бенчмаркам.  

• Интерфейс Telegram позволяет вставлять аудиосообщения и выбирать режим формирования спикеров.  

• Проблемы с определением голосов спикеров и подстановкой фамилий.  

• Использование большой языковой модели GEMMA от Google для выполнения инструкций.  

• Промты включают поиск важной информации из расшифровок совещаний.  

• Необходимость найти название совещания, дату, ФИО, должности, задачи, решения и список лиц.  

• Ответы должны быть в формате JSON-схемы.  

• Вопросы о ресурсах и метриках, предоставленных командам.  

• Команды использовали большие модели для транскрибации и LLM.  

• Метрики включали определение имен спикеров и выполнение транскрибации.  

• Команды генерировали отчеты без использования LLM.  

• Использование LLM для извлечения сущностей для отчета.  

• Вопросы о времени генерации отчетов и длительности совещаний.  

• Использование Яндекс GPT-5 и модели Viper для транскрибации.  

• Интерфейс Telegram-бота с выбором стикеров и спикеров.  

• Скорость транскрибации: 13-минутное видео за 25 секунд.  

• Архитектура включает аудиофайлы совещаний и образцы голосов.  

• Процесс верификации и выравнивания текста транскрипции с ролями.  

• Формирование артефактов и подача их на вход модели для извлечения информации.  

• Промты команды включают анализ переговоров и выделение основной информации.  

• Вопросы о реализации и инструментах для верификации спикеров.  

• Переход к анализу кода и функций для обработки аудиофайлов.  

• Выполняется диорализация и выравнивание текста информации о спикерах.  

• Подсчитывается количество спикеров и извлекаются аудио сегменты.  

• Находятся самые длинные сегменты для верификации с сэмплами.  

• Верификация проводится по самым длинным сегментам.  

• Запускается функция выравнивания спикеров с текстом.  

• Спикеры заменяются на реальные имена.  

• Используется модель калач в два от випера.  

• Проводится диорализация и вычленение аудио сегментов.  

• Верификация аудио сегментов с распознаванием спикеров.  

• Используется модель для выравнивания спикеров.  

• Исходный код и промты доступны для просмотра.  

• Прогонка модели лач в три для сабмишин файла.  

• Вопросы качества аудио и очистки от шумов.  

• Совещания часто имеют качественный звук.  

• Очистка от шумов и терминов важна для качества транскрибации.  

• Архитектура обработки аудиофайлов и формирование транскрипции.  

• Онлайн-сервисы для улучшения качества и упрощения записи.  

• Возможность создания ассистентов для бизнес-процессов.  

• Призыв к внедрению ассистентов в бизнес-процессы.  

• Приглашение на консультации и услуги.  

• Благодарность за внимание и приглашение к дальнейшему обсуждению.