Langflow. Как создавать приложения с GigaChat API или Ollama из блоков?

• Сергей Трощенков приветствует зрителей и отмечает достижение 500 подписчиков на канале.  

• Выражает радость от роста интереса к тематике искусственного интеллекта.  

• Объявляет тему видео: необычный инструмент для работы с ИИ.  

• Обсуждаются фреймворки Llama и GigaChain для работы с большими языковыми моделями.  

• LangFlow — графический интерфейс поверх Llama, позволяющий создавать приложения с ИИ через перетаскивание блоков.  

• Подчёркивается, что иногда требуется прописывать внутреннюю логику на Python.  

• LangFlow позволяет создавать чаты, вопрос-ответные системы и использовать большие языковые модели.  

• Упоминаются возможности работы с опенсорсными языковыми моделями.  

• Показан пример готовой вопрос-ответной системы, реализованной в LangFlow.  

• Система использует элементы, аналогичные тем, что прописывались в коде с помощью Llama или GigaChain.  

• Описываются компоненты: «чат инпут» для обработки сообщений пользователя и «чат аутпут» для возврата обработанного текста.  

• Демонстрируется возможность отправки запросов через форму чата.  

• Задаётся вопрос и обрабатывается языковой моделью GigaChat.  

• Объясняется использование библиотеки GigaChain для работы с большими языковыми моделями.  

• Подробно описывается структура приложения: сообщения, отправленные пользователю, и их обработка компонентами.  

• Упоминается компонент FAI для хранения текстовой информации и её векторизации.  

• Объясняется компонент ParsData для преобразования фрагментов текста в питоновские строки.  

• Описывается формирование промта для языковой модели.  

• Пошаговая инструкция по установке LangFlow: создание виртуального окружения, активация и установка фреймворка.  

• Подчёркивается важность правильного указания версий Python и активации виртуального окружения.  

• Команда для установки LangFlow: `pip install langflow`.  

• Упоминание о возможном длительном процессе установки.  

• Установка фреймворка заняла несколько минут и прошла успешно.  

• Для адаптации под гига-чат необходимо установить гига-чат с помощью команды `pip install gigachat`.  

• После установки можно запустить фреймворк командой `langflow run`.  

• Фреймворк может запуститься с автозапуском или потребовать ручного ввода адреса и порта.  

• По умолчанию используется порт 7860, но при запуске нескольких экземпляров порты могут различаться.  

• Графический интерфейс в браузере выглядит следующим образом.  

• Создаём новый пустой проект и знакомимся с инструментами на левой панели.  

• Входные узлы включают чат-инпут и текст-инпут.  

• Цепочка может начинаться с любого источника данных, но обычно с чата.  

• Доступны различные языковые модели: Anthropic, ChatGPT, Cohere и другие.  

• Можно использовать опенсорсные модели, такие как Hugging Face и GPT-3.5.  

• Для работы с гига-чатом потребуется кастомный компонент.  

• Память чата позволяет языковой модели чувствовать контекст диалога.  

• Векторные хранилища, такие как FAI, используются для хранения данных.  

• Планируется использование моделей с Hugging Face для создания вопросно-ответной системы.  

• Возможность экспортировать и импортировать компоненты и пайплайны.  

• Компонент для гига-чата загружается в виде JSON-структуры.  

• Настройка фильтров и параметров пайплайна.  

• Добавление названия и описания для пайплайна.  

• Настройка эндпойнта для подключения по API.  

• Создание кастомного компонента согласно документации Langflow.  

• Настройка входных данных, моделей и авторизационных данных.  

• Использование переменных для упрощения работы с данными.  

• Настройка выходных данных компонента.  

• Один выходной параметр будет передаваться дальше по потоку.  

• Возможность настройки дополнительных параметров, таких как температура и количество токенов.  

• Внутри класса создаётся функция для выполнения внутренней логики.  

• Функция создаёт экземпляр подключения к языковой модели, указывая название модели, API-ключ и отменяя проверку сертификатов.  

• Метод invoke передаёт сообщение из чата для взаимодействия с моделью.  

• Модель выдаёт только текст, что ограничивает её использование.  

• Для работы с моделью используется элемент промта, который позволяет подставлять содержимое ответа в переменную.  

• В промте создаётся переменная для подстановки ответа модели.  

• Выход модели подключается к входу промта.  

• Тестирование гига-чата с вопросом «Привет, как тебя зовут?».  

• Упоминание о возможности настройки стриминга для языковых моделей.  

• Добавление второй модели Llama 3 с 8 миллиардами параметров.  

• Использование инструмента OLA для локального запуска моделей.  

• Необходимость мощных вычислительных ресурсов для работы с большими моделями.  

• Создание копии потока для добавления новых компонентов.  

• Настройка параметров модели Llama 3.  

• Редактирование промта для приёма ответов от двух моделей.  

• Добавление заголовков и переменных для ответов.  

• Тестирование моделей на математической задаче.  

• Сравнение скорости и правильности ответов.  

• Задание моделям задачи по созданию рекламы.  

• Анализ ответов моделей и их креативности.  

• Создание нового проекта с вопросно-ответной системой.  

• Замена компонентов и настройка векторного хранилища.  

• Подключение векторного хранилища и настройка индекса.  

• Преобразование фрагментов документов в текст для промта.  

• Добавление компонента гига-чата для обработки промта.  

• Подтягивание сообщений от пользователя к векторному хранилищу.  

• Указываем ключ для подключения языковой модели.  

• Используем переменную «гига» для передачи результата.  

• Подключаемся к переменной «текст» через промт.  

• Подключаем языковую модель и результат промта к выходу чата.  

• Работа с настройками векторного хранилища и эмбедингов оказывается сложной из-за скрытых настроек.  

• Ошибка возникает из-за неправильных настроек эмбединговой модели.  

• Необходимо указать дополнительные скрытые настройки.  

• Прописываем настройки: «модель кваркс», «девайс сипью», «эн кодинг кваркс».  

• Выставляем «нормалайз с бдс» как «фолс».  

• Загружаем модель с сайта агин фейс.  

• Устанавливаем библиотеку «сентс трансформерс» через терминал.  

• Решаем проблему с задваиванием входных сообщений путём удаления и повторного добавления компонента.  

• Исправляем проблему с ответами на английском языке, переписывая промт на русский.  

• Проверяем работу рак системы, отправляя запрос и получая ответ.  

• Подтверждаем, что система работает корректно.  

• Лоуко фреймворк позволяет создавать интересные цепочки и визуально программировать.  

• Инструмент полезен для создания прототипов и тестирования гипотез.  

• Автор надеется на продолжение общения и рост сообщества.