RAG и CAG — чем отличаются, что выбрать и почему?

• Обсуждение подхода к передаче знаний большой языковой модели.  

• Упоминание техник retrial augmented generation и cache augmented generation.  

• Модель запрашивает внешнюю базу знаний для получения релевантных частей документов.  

• Контекст подаётся в модель, обновляя её знания.  

• Загрузка всей базы знаний в контекстное окно модели заранее.  

• Модель использует все загруженные данные для ответа на запросы.  

• Офлайн фаза: разбиение документов на чанки и создание векторных имбедингов.  

• Онлайн фаза: векторный поиск по базе данных, передача релевантных фрагментов в модель.  

• Модульность системы: возможность изменения базы, модели имбедингов или языковой модели без пересборки системы.  

• Создание огромного промта из документов, который помещается в контекстное окно модели.  

• Обработка промта моделью и формирование внутреннего состояния.  

• Использование кэша для ответа на запросы без повторной обработки данных.  

• Точность retrial зависит от работы ретривера.  

• Задержка retrial выше из-за дополнительного этапа извлечения данных.  

• Задержка cache ниже благодаря предобработанному кэшу.  

• Масштабируемость retrial ограничена размером векторной базы.  

• Масштабируемость cache ограничена размером контекстного окна.  

• Обновление данных в retrial происходит быстро, в cache — медленнее.  

• Сценарий 1: чат-бот для IT-поддержки, руководство по продукту обновляется редко.  

• Сценарий 2: ассистент для юридической фирмы, поиск по тысячам судебных дел.  

• Сценарий 3: поддержка принятия клинических решений в больницах.  

• Использование retrial для извлечения сведений из большой базы.  

• Загрузка извлечённых данных в контекст с помощью cache для дальнейших уточнений.  

• Подведение итогов: retrial подходит для больших и часто меняющихся наборов данных.  

• Cache подходит для фиксированных наборов знаний, низкой задержки и упрощения решения.  

• Приглашение к дальнейшему взаимодействию через телеграм-канал.