Langflow. Как создавать приложения с GigaChat API или Ollama из блоков?

• Сергей Трощенков рад достижению 500 подписчиков на канале.  

• Видео посвящено новому инструменту для создания приложений с использованием искусственного интеллекта.  

• Рассматривается инструмент LangFlow, который позволяет создавать приложения с помощью Low-Code.  

• LangFlow базируется на Language и позволяет создавать приложения с помощью перетаскивания блоков.  

• Иногда требуется прописать внутреннюю логику на Python.  

• LangFlow поддерживает создание чатов, вопрос-ответных систем и использование больших языковых моделей.  

• Показан пример вопрос-ответной системы, реализованной с помощью LangFlow.  

• Система использует блоки для создания чат-бота, который отвечает на вопросы по содержанию видеороликов.  

• Компоненты системы аналогичны тем, что используются в коде на Python.  

• Входной узел: сообщения из чата, написанные пользователем.  

• Выходной узел: возвращает текст в чат после обработки языковой моделью.  

• Возможность отправки запросов и получения ответов через интерфейс.  

• Пользовательское сообщение отображается и обрабатывается языковой моделью.  

• Используется библиотека GigaChat для работы с большими языковыми моделями.  

• Компоненты системы включают Fais, который хранит текстовую информацию и использует эмбеддинги для поиска.  

• Fais используется для хранения и поиска текстовой информации.  

• Компонент ParseData преобразует фрагменты текста в питоновские строки для подстановки в промт.  

• Промт используется для передачи контекста и запроса пользователя в большую языковую модель.  

• Создание виртуального окружения для работы с LangFlow.  

• Установка LangFlow с помощью команды pip install langflow.  

• Процесс установки может занять некоторое время, но он будет показан на видео.  

• Установка фреймворка заняла несколько минут и прошла успешно.  

• Для адаптации под использование гига-чата необходимо установить гига-чат.  

• Для запуска фреймворка используется команда "langflow run".  

• Фреймворк может запускаться с автозапуском или требовать ручного ввода адреса и порта.  

• По умолчанию используется порт 7860, но при запуске нескольких экземпляров порты могут отличаться.  

• Рабочее пространство фреймворка пустое, но можно создать новый проект.  

• В левой панели находятся инструменты для создания цепочек.  

• Входные узлы могут быть чат-инпут или текст-инпут.  

• Цепочки могут начинаться с чата или другого источника данных.  

• Входные данные включают чат-инпут и чат-аутпут.  

• Возможность подключения по API и использование различных языков программирования.  

• Выходные данные включают промты и данные.  

• Можно подключать папки, файлы и веб-страницы.  

• Возможность создания викторин и других систем.  

• Доступны различные языковые модели, включая антропиум и гига-чат.  

• Память чата необходима для построения диалога.  

• Компоненты для нарезки текста и извлечения данных.  

• Возможность создания кастомных компонентов для гига-чата.  

• Использование векторных хранилищ, таких как фаис.  

• Пример с вопрос-ответной системой по видеороликам.  

• Возможность экспорта и импорта компонентов.  

• Настройка фильтров и редактирование пайплайнов.  

• Добавление и настройка компонентов для гига-чата.  

• Создание кастомных компонентов с использованием документации.  

• Импорт и настройка класса компонента.  

• Входные и выходные данные, авторизационные данные и выбор моделей.  

• Входные параметры включают сообщение и API-ключ.  

• Выходные данные могут быть несколькими, но в данном случае используется только один.  

• Настройка дополнительных параметров, таких как температура и количество токенов.  

• Создание функции для выполнения внутренней логики.  

• Подключение к языковой модели через API.  

• Отмена проверки сертификатов и запуск выполнения взаимодействия.  

• Модель работает как простая коробочка, выдающая только текст.  

• Подключение через элемент промта для подстановки содержимого ответа.  

• Пример использования промта для ввода текста.  

• Настройка стриминга для языковых моделей.  

• Параллельное использование гига-чата и модели Lama 3.  

• Запуск Lama 3 с помощью инструмента Ola.  

• Создание копии потока и редактирование настроек.  

• Добавление недостающих компонентов для работы с Lama 3.  

• Настройка промта для приема ответов от обеих моделей.  

• Тестирование моделей на примере математической задачи.  

• Сравнение скорости и правильности ответов.  

• Проблемы с параллельной работой моделей.  

• Создание нового проекта и замена компонентов.  

• Подключение векторного хранилища и настройка компонентов.  

• Преобразование результатов поиска в текст для промта.  

• Добавление настроек в эбинговую модель.  

• Викторизация сообщений от пользователя.  

• Размещение компонента гига-чата для обработки ответов.  

• Указываем ключ для подключения языковой модели.  

• Используем переменную "текст" для подключения к языковой модели.  

• Подключаем результат промта в качестве текста на выход чата.  

• Настройки эмбедингов скрыты по умолчанию.  

• Для корректной работы нужно указать дополнительные настройки.  

• Прописываем модель, девайс и кодировку.  

• Устанавливаем библиотеку для языковой модели и сентенс трансформер.  

• Запускаем процесс скачивания эмбединговой модели.  

• Решаем проблемы с задваиванием входных сообщений и английским языком.  

• Проверяем работу рак-системы на примере предыдущего видеоролика.  

• Рак-система генерирует релевантные ответы.  

• Лоуко фреймворк позволяет создавать цепочки и прототипы приложений.  

• Лоуко фреймворк имеет свои сложности, но может быть полезен для создания прототипов.  

• Планируется дальнейшее использование инструмента в будущих видеороликах.  

• Благодарность зрителям и надежда на продолжение общения.