Как построить RAG?

• Большие языковые модели LLM становятся всё более доступными.  

• Примеры использования: составление писем, планов, ответы на вопросы, программирование.  

• Работа с моделью QN2.5 на 3 миллиарда параметров на видеокарте RTX 4090.  

• Видеокарта RTX 4090 с 24 ГБ видеопамяти, половина занята моделью.  

• Запуск модели с помощью фреймворка Vail.  

• Тестирование модели на вопросы: «Hello, how are you?», «Расстояние между Солнцем и Землёй?», «Захватит ли ИИ наш мир?».  

• Модели ограничены знаниями, полученными в процессе обучения.  

• Пример с текущим чемпионом Формулы-1: модель отвечает неверно из-за устаревшей информации.  

• Решение: добавление релевантной информации в контекст модели.  

• Возможность автоматизации поиска релевантных документов.  

• Сравнение с поисковыми системами Google, Яндекс, Bing.  

• Необходимость разработки собственной поисковой системы для личных документов и внутренней документации.  

• Схема ретригментации: вопрос и релевантные документы подаются в языковую модель.  

• Прототип системы для ответов на вопросы по научным статьям.  

• Использование статьи DeepMind 1 для тестирования.  

• Парсинг PDF-документа в набор символов.  

• Чанкирование текста для оптимизации поиска.  

• Перекрытие чанков для более плавного перехода смысла.  

• Токенизация текста и подсчёт близости между словами.  

• Пример поиска наилучшего чанка для вопросов.  

• Ограничения алгоритма и переход к векторному поиску.  

• Викторизация текстов с помощью модели BERT.  

• Подсчёт косинусной близости между текстами.  

• Запуск векторного поиска для вопроса о наградах в модели DeepMind 1.0.  

• Модель реранкера оценивает соответствие вопроса и ответа.  

• Пример работы модели на парах вопросов и ответов.  

• Объединение алгоритма поиска с моделью реранкера для улучшения результатов.  

• Находим самые близкие чанки к вопросу.  

• Собираем десять чанков в пары с вопросом и подаём в модель реранкера.  

• Модель реранкера выдаёт низкие оценки, так как она общая и плохо работает с научными текстами.  

• После дополнительной сортировки чанков модель реранкера меняет порядок чанков, перемещая двадцать восьмой чанк на другое место.  

• Модель реранкера должна работать на вопросе и ответе одновременно, не допуская предпосчёта.  

• В реальном сценарии будет не 100 чанков, а 100 тысяч.  

• Векторный поиск сначала находит кандидатов, затем их ранжирует модель реранкера, и наконец они подаются в языковую модель.  

• Задаём вопрос модели и ищем релевантные участки текста с помощью векторного поиска.  

• Находим десять кандидатов и сортируем их с помощью модели реранкера.  

• Самый релевантный чанк подаём в языковую модель, которая генерирует финальный ответ.  

• Плохой алгоритм поиска требует обучения модели викторизации.  

• Реранкер может работать плохо и также требует обучения.  

• ЛЛМ может игнорировать контекст или добавлять неправильную информацию.  

• Для надёжной работы системы необходимо тренировать все три компонента.  

• Приглашение на курс по ЛЛМ для изучения деталей пайплайна и работы с моделями.  

• Приглашение на курс ЛЛ Про для опытных разработчиков, желающих улучшить поиск и запустить систему под нагрузкой.