Про создание AI-ассистента на базе локальной LLM

• Первая встреча по использованию искусственного интеллекта.  

• Обсуждение доклада-кейса о создании ассистента руководителя компании на базе локальной языковой модели.  

• Кейс представлен Алексеем Гучко из компании Кожин Дев.  

• Компания использует машинное обучение и LLM для повышения эффективности.  

• Автоматизация поиска по базе знаний и документации компании.  

• Локальные модели выбраны для независимости от экосистем вендоров и безопасности данных.  

• Чат-бот обрабатывает запросы пользователей.  

• Классификация запросов и поиск соответствующих статей в базе знаний.  

• Использование LLM для выдачи ответов пользователям.  

• Индексация базы знаний и создание векторов для каждого документа.  

• Эксперименты с длиной чанков для разных типов документов.  

• Векторы строятся по смысловому, а не частотному подходу.  

• Основная сложность – нахождение релевантного контента для запросов.  

• Тестирование на документации из Google Docs и вики-системе.  

• Эксперименты с моделями LLM и выбор модели с 8 миллиардами параметров.  

• Примеры запросов: как устроить сотрудника, настроить сеть для проекта.  

• Система помогает руководителю находить информацию без необходимости искать самому.  

• Актуальность для руководителей и других сотрудников.  

• Система пока используется только одним пользователем – руководителем.  

• Разработка на стадии R&D, планируется расширение на всю компанию.  

• Использование фреймворка для разработки, но опасения по поводу его зрелости.  

• LLM модели работают и могут использоваться для автоматизации.  

• Подбор модели под мощности и бюджет проекта.  

• Пример использования модели LLM3 с 8 миллиардами параметров.  

• Квантизированные модели можно использовать на CPU, хотя это будет медленнее.  

• Для промышленного внедрения требуется больше ресурсов и бюджета.  

• В компании уже есть сотрудники, которым удобнее работать с такими помощниками.  

• Увеличивается скорость доступа к информации и снижается уровень прокрастинации.  

• Модели помогают решать задачи быстрее и эффективнее.  

• Основные проблемы включают галлюцинации, которые менее выражены у больших моделей.  

• Модель анализирует документацию и создает события в календаре.  

• Система проверяет и подтверждает созданные события.  

• Важно правильно индексировать и строить семантические векторы.  

• ChatGPT рекомендует использовать модели с ограниченным количеством параметров для компромисса между качеством и производительностью.  

• Для больших проектов могут потребоваться более мощные модели.  

• Модель выделяет ключевые слова из документов для индексации.  

• Использование внутренней модели для индексации и классификации.  

• Модели могут путать контексты, поэтому важно классифицировать запросы.  

• Модели с большим количеством параметров требуют значительных ресурсов и затрат.  

• Меньшие модели хуже понимают системные промпты и легче поддаются обману.  

• Большие модели лучше придерживаются контекста и менее подвержены обману.  

• Опыт использования моделей интересен и полезен, и будет обсуждаться в будущем.