Moondream2 + GigaChat API: Помогаем LLM видеть

• Сергей Трощенков продолжает расширять возможности языковых моделей.  

• В прошлый раз работали с распознаванием и синтезом речи.  

• Сегодня переходим к вижену, анализу изображений и ответам на сложные запросы.  

• GigaChat позиционируется как мультимодальная модель, но доступна только в текстовом варианте.  

• Ведутся разработки для использования других видов информации.  

• Используем модель MUDRIM 2 в связке с GigaChat.  

• Конечное решение - телеграм-бот, принимающий текстовую информацию и изображения.  

• MUDRIM плохо работает с запросами на русском языке, поэтому используем GigaChat для перевода.  

• GigaChat переводит сообщения на русский язык на английский.  

• MUDRIM обрабатывает изображение и переведенное сообщение, отвечая на английском.  

• Ответ модели переводится обратно на русский язык и добавляется в историю сообщений.  

• Модели с виженом принимают текстовую информацию и изображения.  

• Изображения разбиваются на кусочки и токенизируются.  

• Визуальные и текстовые токены становятся частью контекста модели.  

• Используем Google Colab для работы с локальной средой выполнения.  

• Создаем виртуальное окружение и устанавливаем необходимые библиотеки.  

• Подключаемся к локальной среде выполнения через Google Colab.  

• Устанавливаем необходимые библиотеки: PyJupyter, PyLlama, GigaChat, PIL и Python.json.  

• Используем PyJupyter для запуска кода локально.  

• Подключаемся к локальной среде выполнения через Google Colab.  

• Отправляем изображения с помощью запросов к модели.  

• Используем формат Base64 для кодирования бинарной информации в текстовом формате.  

• Переходим к написанию кода для работы с моделью MUDRIM.  

• Используются функции из документации LangChain для работы с мультимодальными моделями.  

• Первая функция для преобразования изображений, вторая для вывода на экран.  

• Примеры изображений: Эндрю Ын, ребенок и жена на фоне елки, археологический раскоп.  

• Большие модели, такие как GPT-4, легко распознают археологические раскопки.  

• Меньшие модели могут путаться, что делает их работу интереснее.  

• Планируется создание телеграм-бота для работы с моделями.  

• Использование класса ChatLM для диалога с моделями.  

• Проблемы с классом LLM для мультимодальных моделей.  

• Создание новых цепочек для каждого запроса, чтобы избежать сохранения истории в памяти модели.  

• Создание экземпляра ChatLM с моделью.  

• Подготовка входных данных: текстовая часть и изображение в формате Base64.  

• Использование парсера для упрощения структуры ответа.  

• Запуск сервера OpenAI и тестирование кода.  

• Модель не всегда точно распознает изображения, возможны галлюцинации.  

• Пример запроса: изображение жены с ребенком на фоне елки.  

• Использование авторизационных данных для подключения Gigachat.  

• Перевод запросов на русский язык на английский.  

• Пример запроса с переводом: изображение Эндрю Ына.  

• Использование библиотеки PyTelegramBotAPI для создания синхронного бота.  

• Применение компонентов для записи диалога и хранения сообщений.  

• Создание объекта памяти для хранения всех сообщений.  

• Хранили словарь для ведения диалога с множеством пользователей.  

• Создали цепочку конверсий и начали писать код для бота.  

• Использовали код из прошлого туториала для обработки текстовых сообщений.  

• Новая функция для работы с изображениями.  

• Извлечение файла и формирование пути до изображения.  

• Проверка наличия диалога с пользователем и создание новой памяти.  

• Декодирование информации из запроса.  

• Использование кэпшна для подписи к картинке.  

• Запрос к модели Мудри с использованием текста и изображения.  

• Обновление памяти чата с сообщениями пользователя и ИИ.  

• Проверка работы бота и его перезапуск.  

• Проверка работы бота в Telegram.  

• Отправка изображений и текстовых запросов боту.  

• Проверка ответов бота на основе изображений.  

• Демонстрация работы бота с различными изображениями.  

• Возможность улучшения решения с использованием больших вычислительных ресурсов.  

• Призыв к обратной связи и обсуждению практических применений.  

• Ссылка на телеграм-канал и бота для вопросов.