Реализация RAG на основе GigaChat. Как искать и генерировать ответы по базе знаний?

• Сергей Трощенков обсуждает вопросы обучения языковых моделей.  

• Создание языковых моделей с нуля требует больших затрат и доступно только корпорациям.  

• Дообучение языковых моделей под свои задачи возможно, но требует квалификации.  

• Дообучение учит модели отвечать определенным образом, а не привносит новые знания.  

• Модель учится отвечать на структурированные вопросы, но не справляется с новыми данными.  

• Большие языковые модели не могут обрабатывать корпоративные документы и актуальные публикации.  

• Большие языковые модели могут производить грамотный текст, но с ошибками в фактах.  

• Решение проблемы - создание вопрос-ответных систем, которые используют преимущества моделей и минимизируют недостатки.  

• Вопрос-ответные системы помогают модели отвечать на основе передаваемой информации.  

• Большие языковые модели хорошо работают с текстом, но требуют релевантной информации в запросе.  

• Пример: использование текстовых документов для обучения модели.  

• Ограничения моделей: лимиты на фримиум использование и ограниченный контекст.  

• Модели имеют ограниченный контекст в несколько тысяч токенов.  

• Современные модели используют токины меньше слов.  

• Ограниченный контекст требует разделения текстов на небольшие фрагменты.  

• Тексты делятся на небольшие фрагменты, называемые чанками.  

• Чанки содержат достаточно информации для понимания, но занимают мало места в запросе.  

• Под каждый запрос пользователя выбираются подходящие чанки.  

• Преобразование текстовых фрагментов в векторное представление для поиска по смыслу.  

• Использование большой языковой модели и эмбдинговой модели для создания ретривера.  

• Эмбдинговая модель создает векторные представления текстовых фрагментов.  

• Эмбдинговая модель преобразует текстовые фрагменты в векторы.  

• Векторы располагаются близко друг к другу, если они близки по смыслу.  

• Сравнение векторов по косинусному сходству для оценки близости по смыслу.  

• Поисковые системы используют векторные представления для поиска по смыслу.  

• Фрагменты текста и их векторные представления хранятся в специальной базе данных.  

• Пользовательский запрос преобразуется в вектор и сравнивается с векторными представлениями в базе данных.  

• Использование библиотек для создания векторного хранилища и запуска модели.  

• Применение гигачейна и фаиса для создания векторного хранилища.  

• Использование локальной модели для создания векторных представлений.  

• Использование библиотеки ран бим двадцать пять для создания векторов по ключевым словам.  

• Применение библиотеки плей райт для веб-скрепинга и сбора текстов.  

• Использование сайта nplus1 для сбора текстов по космонавтике.  

• Для загрузки статей по категориям и тегам требуется специальный загрузчик.  

• Используются два загрузчика: один на основе библиотеки Playwright, другой - обычные запросы.  

• Для преодоления ограничений синхронного режима используется инструмент для веб-скрапинга.  

• Загрузчики используют метод load для подгрузки данных.  

• В Google Colab возникают ошибки из-за асинхронного режима, поэтому используется отдельный пай-файл.  

• Пай-файл запускается как исполняемый файл из командной строки.  

• Для поиска ссылок используется режим разработчика в браузере.  

• Содержимое страницы сохраняется в HTML-файл и парсится с помощью BeautifulSoup.  

• Найденные ссылки сохраняются в отдельный файл для дальнейшей обработки.  

• Ссылки сохраняются в одну строку через пробелы для удобства.  

• Ссылки используются для загрузки текстового содержимого статей.  

• Текстовое содержимое разбивается на фрагменты и помещается в векторную базу данных.  

• Импортируются необходимые компоненты, включая класс для загрузки моделей эмбедингов.  

• Документы, извлеченные из веб-страниц, становятся объектами класса Document.  

• Используется веб-бассейн для загрузки статей и рекурсивный текст-сплиттер для разделения текста на фрагменты.  

• Загрузка документов занимает около получаса.  

• После загрузки можно увидеть количество полученных документов.  

• Документы содержат текстовую информацию и метаданные, такие как источники и язык текста.  

• Для запросов пользователя нужны фрагменты из разных статей.  

• Используем текст сплиттер для разделения на кусочки по 500 символов.  

• Применяем параметр "чан оверлап" для минимизации потерь смысловой сущности.  

• Документы включают исходные статьи и фрагменты.  

• Каждый документ имеет атрибуты: текстовое содержимое, ссылка на источник, название страницы, описание, язык.  

• Используем эмбединговую модель с поддержкой русского языка.  

• Запускаем процесс викторизации, который занимает около трех минут.  

• Указываем параметры работы ретривера для извлечения подходящих кусочков.  

• Косинусное сходство используется для нахождения схожести векторов.  

• Определяем количество извлекаемых фрагментов на основе косинусного сходства.  

• Извлекаем по пять наиболее подходящих фрагментов.  

• Извлекаемые фрагменты попадают в прот, который затем передается в языковую модель.  

• Используем функции для создания цепочек в гигачейне и ланчейне.  

• Создаем экземпляр генеративной модели и прот, включающий инструкции, контекст и вопрос.  

• Подготавливаем необходимые элементы для генерации.  

• Используем две цепочки для удобства: став док юмен чейн и ретривал чейн.  

• Помещаем контекст в цепочку для автоматического извлечения фрагментов.  

• Используем функцию три три в чейн для проверки вопросно-ответной системы.  

• Готовимся к выполнению проверки.  

• Автор формулирует несколько вопросов из разных статей.  

• Пример вопроса: "Какие космические аппараты Китай запускал к Луне?"  

• Система отвечает, что Китай запустил два аппарата: Чанъэ-4 и Чанъэ-6.  

• Контекст подставляется автоматически, инпут - вручную.  

• Система анализирует контекст и выдает информацию о запуске аппаратов.  

• Некоторые названия аппаратов не включены в ответ, так как не связаны с Луной.  

• Вопрос: "Когда Хаббл вернулся к работе?"  

• Ответ: 29 апреля 2024 года.  

• Система не нашла информацию о неудачных запусках.  

• Вопрос: "Есть ли информация о древнегреческом математике?"  

• Ответ: Нет, но есть информация об обсерватории Эвклид.  

• Система не уловила контекст, связанный с Эвклидом.  

• Вопрос: "Какая информация связана с лазерами?"  

• Ответ: Лазерная связь используется для передачи данных из космоса.  

• Система успешно нашла информацию о лазерной связи.  

• Замена ретривера на BM25.  

• Необходимость предварительной обработки текстов.  

• Использование специализированных библиотек для уменьшения вариативности слов.  

• Проверка работы нового ретривера.  

• Система находит фрагменты, но не всегда релевантные.  

• Проблемы с обработкой текста и метаинформации.  

• Разные ретриверы находят разные фрагменты.  

• Вопросы о неудачных запусках и древнегреческом математике не нашли ответа.  

• Вопрос о возвращении Хаббла к работе был успешно решен.  

• Система ответила, что Китай запустил аппарат для связи будущих лунных миссий с Землей.  

• Система не указала названия аппаратов, что интересно.  

• Вопросы о космических аппаратах не были сложными, но система справилась.  

• Система не справляется с вопросами, касающимися всех текстов.  

• Для таких вопросов можно использовать самореференцию текстов.  

• Пример: подход RAPTOR для создания вопрос-ответных систем.  

• Сохранение ответов системы в отдельный файл для анализа.  

• Автоматизация оценки эффективности языковых моделей.  

• Сохранение результатов для последующего использования.  

• Возможность использования нескольких ретриверов.  

• Пример: цепочка с большой языковой моделью для выбора ретривера.  

• Создание гибридного ретривера для улучшения результатов.  

• Вопрос-ответные системы могут не справляться с нормативной документацией.  

• Дообучение эмбединговых моделей для специализированных тем.  

• Использование больших языковых моделей для создания датасетов.  

• Применение различных форм представления данных для вопрос-ответных систем.  

• Возможность работы с табличными данными для больших языковых моделей.  

• Обещание посвятить отдельный ролик работе с табличными данными.