Заменит ли CAG RAG в N8N? Протестированы Gemini, OpenAI и Claude

• Длина контекстного окна виртуальных машин увеличилась, что способствовало росту интереса к методу CAG.  

• Видео покажет, как использовать CAG в моделях OpenAI, Anthropic и Google Gemini.  

• Сравнение с RAG для определения, что лучше подходит для разных ситуаций.  

• Загрузка файла с Google Диска и извлечение текста из PDF.  

• Отправка файла на облачный сервер Google Gemini для кэширования.  

• Пример запроса и получения результатов о правилах каталки в Формуле-1.  

• CAG дополняет запрос документами из кэша, в отличие от обычного кэширования подсказок.  

• Пример использования RAG для извлечения фрагментов из документа и их встраивания в векторную базу данных.  

• Сравнение результатов CAG и RAG для получения более подробных ответов.  

• RAG включает два этапа: импорт данных в векторную базу данных и запрос и извлечение данных.  

• Векторная база данных требует технического обслуживания для удаления старых и установки новых данных.  

• Запрос и извлечение данных включают отправку запроса и соответствующих фрагментов в LLM.  

• RAG имеет недостатки, такие как ограниченное количество извлекаемых фрагментов и возможные неправильные совпадения.  

• Методы, такие как поиск по контексту и повторное ранжирование, могут улучшить результаты.  

• Пример коллекции векторов и фрагментов для технических регламентов Формулы-1.  

• CAG от OpenAI и Anthropic включает отправку документов вместе с запросом к LLM.  

• CAG от Google Gemini требует загрузки данных в кэш и отправки запроса с идентификатором кэша.  

• Gemini позволяет управлять кэшем и имеет более длительный срок хранения.  

• Демонстрация рабочего процесса CAG с OpenAI.  

• Отправка запроса и извлечение текста из файла для отправки в OpenAI.  

• Пример использования GPT-4 для генерации ответов.  

• Общее количество использованных токенов составило около 5000.  

• Кэширование на стороне сервера позволяет быстрее обрабатывать запросы.  

• В версии AI Agent кэширование не видно, но оно все равно работает.  

• Кэширование работает на основе префикса в начале запроса.  

• Динамические элементы отключают кэширование.  

• Подсказки сохраняются в кэше до часа, что меньше, чем у Google Gemini.  

• HTTP-модуль позволяет передавать параметры управления кэшем.  

• При использовании встроенного антропного модуля это невозможно.  

• Кэширование помогает снизить нагрузку на сервер.  

• Anthropic ограничивает скорость запросов, несмотря на встроенное кэширование.  

• Для увеличения лимита скорости нужно обновить аккаунт.  

• Кэширование позволяет читать данные через тайник.  

• Программа находит и загружает файлы на N-восемь N.  

• Конвертирует данные в Markdown и оценивает длину токена.  

• Кэширует документы с более чем 32 токенами.  

• Вводит системные инструкции и TTL для кэшированного файла.  

• Кэшированные файлы хранятся на серверах Gemini.  

• Нужно отслеживать идентификаторы кэша и продлевать срок действия.  

• CAG обеспечивает более высокую точность и релевантность.  

• RAG имеет проблемы с точностью из-за независимости фрагментов.  

• RAG выигрывает по масштабу базы знаний и свежести данных.  

• CAG обеспечивает молниеносную скорость вывода благодаря предварительно загруженным знаниям в кэш.  

• Для небольших баз данных менее 1 миллиона токенов CAG подходит лучше всего.  

• Rag также работает быстро, но требует меньше подсказок для LLM.  

• Использование Rag дешевле, так как это небольшие фрагменты данных.  

• CAG требует загрузки до миллиона токенов, что не бесплатно.  

• Google Gemini взимает плату за хранение и чтение кэша, но предлагает значительные скидки.  

• Anthropic не взимает плату за хранение, но взимает больше за запись данных.  

• Rag сложнее в настройке и требует обновления документов и векторного хранилища.  

• CAG проще в настройке, особенно версии от OpenAI и Anthropic.  

• Версия от Gemini требует дополнительных усилий для сохранения файлов кэша.  

• Rag подходит для больших и динамичных баз знаний.  

• CAG подходит для быстрого вывода и небольших баз знаний, которые меняются редко.  

• Оба подхода дополняют друг друга, и Rag остается доминирующей архитектурой.  

• Снижение стоимости логического вывода и увеличение скидок на токены могут привести к росту использования CAG.  

• Видео предлагает доступ к рабочим процессам и обучению настройке искусственного интеллекта.  

• Призыв присоединиться к сообществу "Автоматизаторы искусственного интеллекта" для дальнейшего обучения и автоматизации бизнеса.