Использование ChatGPT API в приложениях. RAG (Retrieval-Augmented Generation)

• Представление прототипа чат-бота, взаимодействующего с Telegram и ChatGPT.  

• Бот отвечает на вопросы пользователей об антикафе.  

• Два файла: промт и база знаний на Google Диске.  

• Система читает информацию из базы знаний и отправляет её в ChatGPT.  

• ChatGPT готовит ответ, который показывается в Telegram-боте.  

• Ограничения по размеру токенов в ChatGPT.  

• База знаний разрезается на кусочки чанки, релевантные куски ищутся на основе вопроса.  

• Собирается пакет из инструкции промта, релевантных кусков и вопроса.  

• Использование векторного поиска для нахождения релевантных кусков.  

• Векторы слов и фраз преобразуются в математическом пространстве.  

• Расстояние между векторами вопроса и чанков определяет релевантность.  

• При старте приложения читаются файлы промта и базы знаний, нарезаются на чанки и индексируются.  

• Пользователь задаёт вопрос в Telegram, приложение ищет релевантные чанки в индексной базе данных.  

• Собранные данные отправляются в ChatGPT, который готовит ответ.  

• Общие вопросы, вопросы к базе знаний, вопросы на стресс-устойчивость, вопросы на разных языках, вопросы на вычисления.  

• Использование API для доступа к ChatGPT.  

• Необходимость знания предметной области заказчика и подготовки базы знаний.  

• Возможность использования других больших языковых моделей для обеспечения безопасности данных.  

• Пример промта и базы знаний, описывающих заведение.  

• Запуск в облаке Google Cloud.  

• Демонстрация работы бота в Telegram, ответ на вопрос на любом языке.