GenAI Lab ИИ-БОТЫ В КЛИЕНТСКОЙ ПОДДЕРЖКЕ: Как мы интегрировали RAG-бота с CRM интернет-магазина

• Обсуждение прок-ботов и их использования в клиентской поддержке.  

• Опыт команды в разработке и внедрении прок-ботов.  

• Вопросы и ответы через чат.  

• Спикер - основатель компании Дженай Лап, занимается ИИ более 10 лет.  

• Опыт работы в стартапе Н Лоджик, разработка технологии распознавания ключевых полей в документах.  

• С 2022 года занимается консалтингом и генеративным ИИ.  

• Компания состоит из трех партнеров, реализовала более 100 проектов.  

• Занимается корпоративным обучением и внедрением ИИ-решений.  

• Основная тема вебинара - архитектура RAG.  

• RAG - популярная тема, применяемая в различных сферах.  

• Обсуждение проблем и решений в RAG.  

• Призыв к участникам поделиться опытом в комментариях.  

• LLM галлюцинируют, что решается увеличением параметров и обучением моделей.  

• Пример с оператором техподдержки, который выдает неверную информацию.  

• RAG как технология для решения этой проблемы.  

• Модель Embedding преобразует текст в вектора.  

• Векторная база эффективно ищет ближайшие вектора.  

• Промт собирает информацию для ответа с помощью LLM.  

• Векторная база ищет ближайшие вектора к запросу.  

• Преимущества облачных моделей: простота подключения и отсутствие инфраструктуры.  

• Примеры премисных решений: Milvus, Zep.  

• Генерация ответов на основе контекста и векторной базы.  

• Пример с вопросом о пылесосах, где RAG помогает давать точные ответы.  

• Проблемы и решения в RAG, основанные на статье "Двенадцать точек боли RAG".  

• Исходные данные часто хранятся в непонятном виде, что затрудняет работу с ними.  

• Динамические данные, такие как заказы и цены, требуют особого подхода.  

• Большие базы данных могут быть неэффективны для работы с ними.  

• PG-векторные решения не всегда эффективны при большом количестве векторов.  

• Граф-рак не будет обсуждаться в этом вебинаре, планируется отдельный вебинар.  

• Предобработка и очистка данных повышают точность и эффективность работы с ними.  

• Использование сервисов, таких как Astrak и Lama Pars, помогает структурировать данные для лучшего анализа.  

• Диалоги и выгрузки из магазинов требуют специальной обработки для понимания моделей.  

• Использование промтов для извлечения вопросов и ответов улучшает точность ответов.  

• Преобразование скриптов из сериала в вопросы и ответы улучшает работу модели.  

• Использование промтов для структурирования данных повышает качество работы.  

• Суммаризация данных для извлечения ключевой информации улучшает качество ответов.  

• Использование библиотеки Lama Pars для улучшения работы с данными.  

• Оптимальное количество символов для чанков составляет от 1000 до 2000.  

• Слишком большие или маленькие чанки могут ухудшить качество ответов.  

• Использование платных и бесплатных библиотек для подготовки данных.  

• Lama Pars и ChatGPT-5 хорошо подходят для различных задач.  

• Идеальный формат данных для моделей - чанки с вопросами и ответами.  

• Вопросы должны покрывать все возможные вопросы пользователей.  

• На практике часто приходится загружать все данные, включая инструкции и таблицы характеристик.  

• Загрузка всех данных неэффективна и требует переиндексации.  

• Необходима интеграция с системами, где хранятся актуальные данные.  

• Традиционная модель разработки ассистентов и агентов поддержки на основе интентов.  

• Набор интентов, за каждым из которых стоит механика.  

• Классификатор интентов на базе машинного обучения.  

• Технология распознавания сущностей для автоматического ответа на вопросы.  

• Пример запроса характеристик товара.  

• Классификация интента и распознавание сущностей.  

• Интеграция с API магазина для получения реальных данных.  

• Использование готовых платформ, таких как Dialog Flow от Google и Just AI.  

• Обучение моделей на базе BERT и других нейросетей.  

• Грамотный промтинг моделей для быстрой классификации.  

• Интенент-боты механически общаются и не могут отвечать на произвольные вопросы.  

• Пользователи часто просят позвать оператора после нескольких попыток.  

• Необходимость объединения подходов RAG и контент-подхода.  

• Классификация интента и распознавание кода товара.  

• Использование API системы для получения данных.  

• Подмена системного промта для живого диалога и сбора данных.  

• Бот отвечает на базовые вопросы, но не всегда корректно.  

• Пользователь может получить слишком много информации, что не понравится.  

• Использование LLM модели для улучшения качества ответов.  

• На каждый запрос собирается информация из инструкций, диалогов с операторами и базы знаний.  

• Данные проходят через RPA для точного и релевантного ответа.  

• Пример: определение нагрузки на шкаф на основе характеристик и наличия товаров.  

• Подключены все источники данных, включая сложные таблицы и логи диалогов.  

• Общение с пользователем организовано через ChatGPT, что минимизирует заскриптованность.  

• Модель выдает актуальную информацию из CRM, минимизируя ошибки.  

• Важно использовать различные техники для конкретных задач.  

• Использование ванильного RPA из коробки подходит только для простых задач.  

• Пайплайн реализован на Python, но также используются NOSQL решения.  

• NOSQL решения позволяют гибко реализовать и интегрировать агенты.  

• Возможность установки на свой сервер для безопасности и экономии.  

• Один агент направляет пользователя к другому агенту для уточнения данных.  

• Проверка итогового ответа после RPA для улучшения качества.  

• Использование библиотеки для оценки качества RPA.  

• Автоматизированная метрика для оценки правильности и полноты ответов.  

• База данных статична, обновления происходят без остановки бота.  

• Веб-сервис используется для загрузки и удаления данных.  

• Планируется эксперимент по тюнингу модели для улучшения качества.  

• Данные из CRM добавляются в контекст для улучшения ответов.  

• Обсуждение необходимости быть специалистом по Python для работы с RPA и LLM.  

• Для базовых задач в NLP не обязательно иметь глубокие навыки.  

• Важно понимать бизнес-логику и данные, которые нужно интегрировать.  

• Культура работы с данными и понимание их структуры играют ключевую роль.  

• Важно знать бизнес-логику и данные, а не только NLP.  

• Дополнительные знания, такие как реранкинг и безопасность, могут быть полезны.  

• Коллаборативные ноутбуки могут помочь в изучении NLP.  

• В Python-проектах версионность ведется в Git.  

• В наукодерских проектах версионность может быть сложной.  

• Рекомендуется использовать инструменты для управления версиями.  

• Стоимость решений зависит от метрик, таких как точность ответов и удовлетворенность клиентов.  

• Основная метрика – процент обращений, закрытых без участия человека.  

• Важно учитывать продуктовые метрики и их влияние на стоимость.  

• Используются различные фреймворки, такие как Lama и Lanchey.  

• Гибридный поиск доступен в Milo.  

• Важно выбирать фреймворки, которые удобны и функциональны.  

• Тон и стиль ответов задаются через промисы.  

• Примеры фраз помогают боту копировать нужный стиль общения.  

• Важно следовать правилам общения, заданным в промисах.  

• Коммерческое предложение зависит от сложности решения.  

• Оценивается трудоемкость работы и умножается на среднюю ставку.  

• NLP эффективен в клиентской поддержке и внутренних агентах.  

• NLP независим от языка, но модели могут различаться для разных языков.  

• Архитектура остается той же, но модели могут быть адаптированы под разные языки.  

• Вопросы иссякли, но есть интерес к новым темам.  

• Планируется обучение и запуск онлайн-школы по ИИ.  

• Будут рассмотрены вопросы экономической эффективности и использования платных решений.