GigaChat API: работа с изображениями (распознавание и генерация)

• Сергей Трощенков представляет новый туториал по GigaChat и GigaChat Pro.  

• В GigaChat Pro теперь есть возможность распознавать изображения.  

• Видеоролик посвящен использованию встроенных возможностей GigaChat Pro для распознавания и генерации изображений.  

• Сергей объясняет, что видео будет посвящено распознаванию и генерации изображений из GigaChain.  

• Он работает в Сбербанке и продолжает выпускать туториалы в свободное время.  

• Видеоролик будет включать распознавание и генерацию изображений на основе текста.  

• Сергей объясняет, что генерация изображений будет выполняться из GigaChain.  

• Для реализации потребуется установка GigaChain Community и создание бота с помощью Python Telegram Bot API.  

• Видеоролик фокусируется на распознавании изображений и генерации текстов на их основе.  

• Для работы с GigaChat потребуются авторизационные данные и импорт необходимых компонентов.  

• Модель GigaChat Pro Preview будет использоваться с отдельным энд-пойнтом.  

• Проверка сертификатов должна быть установлена в значение false.  

• Модели GigaChat могут обрабатывать изображения, уменьшая их до стандартного размера и перекодируя в последовательность токенов.  

• Эти токены объединяются в общий контекст, что позволяет модели формировать текстовые последовательности на основе визуальных и текстовых токенов.  

• Для работы с изображениями используется метод загрузки в объектах класса GigaChat.  

• Загруженные изображения получают уникальные идентификаторы, которые используются для подачи на вход модели.  

• Можно задавать конкретные запросы или просто загружать изображения без текстового сопровождения.  

• Сергей загружает несколько изображений и проверяет, как GigaChat справляется с табличными данными и сложными заданиями.  

• Он использует примеры из документации и репозитория на GitHub для демонстрации работы модели.  

• Изображения передаются в GigaChat через метод invoke.  

• Можно передавать как целые диалоги, так и отдельные сообщения.  

• Пример с изображением мужчины показывает, как GigaChat распознает и описывает изображения.  

• Сергей объясняет, что все изображения уменьшаются до стандартного размера перед подачей на вход модели.  

• Пример с вопросом о цвете куртки показывает, как GigaChat  

• Рассматривается запрос на обработку таблицы без уточнений.  

• Пример таблицы с заголовком и строками.  

• Возможность перевода таблицы в Markdown для вывода.  

• Markdown позволяет выводить табличную информацию.  

• Пример перевода простой таблицы в Markdown.  

• Возможность копирования и вставки содержимого таблицы.  

• Сложные таблицы могут вызывать ошибки распознавания.  

• Пример сложной таблицы с формулами и текстом на английском.  

• Пример правильного и неправильного понимания контекста.  

• Попытка дать инструкции через картинку.  

• Пример с инструкцией для ChatGPT.  

• Возможные защиты от хакинга больших языковых моделей.  

• Использование диффузионных моделей для генерации изображений.  

• Процесс обучения моделей на зашумленных картинках.  

• Пример кода для генерации изображений из GigaChat.  

• Создание агента для генерации изображений.  

• Пример кода с модификациями для работы с GigaChat.  

• Важность текстового описания функции для интеграции в промт.  

• Необходимость временного токена для работы с GigaChat.  

• Извлечение токена из экземпляра класса GigaChat.  

• Использование токена для передачи в запрос.  

• Обращение к модели для генерации изображений.  

• Важность параметра final_col в запросе.  

• Пример запроса на скачивание сгенерированной картинки.  

• Передача временного токена и запрос на получение картинки.  

• Сохранение картинки в дисковое пространство с использованием идентификатора.  

• Вывод сохраненной картинки на экран для проверки работы модели.  

• Описание работы агентов и создание списка инструментов.  

• Генерация картинки с использованием языковой модели.  

• Пример запроса "нарисуй рок-концерт на Марсе" и вывод результата.  

• Пример диалога с языковой моделью для генерации картинки.  

• Проблемы с выводом результата и сохранение его в переменную.  

• Подготовка к объединению распознавания и генерации в одного бота.  

• Использование токена для бота и библиотеки Python Telegram Bot API.  

• Модификация функции для возврата имени сохраненного файла.  

• Проблемы с отправкой сгенерированных картинок в Telegram.  

• Пример запроса "нарисуй самолет на дне океана" и аутентификационная ошибка.  

• Использование метода ByteTools для генерации параметров запроса.  

• Разделение схемы на две части: генерация параметров и вызов функции.  

• Описание бота, работающего с картинками.  

• Загрузка и сохранение картинки в хранилище GigaChat.  

• Генерация запроса к функции для генерации картинки по описанию.  

• Создание запроса для генерации картинки и его тестирование.  

• Модификация функции для генерации картинки под Telegram.  

• Запуск функции для генерации картинки и проверка результата.  

• Показан результат работы художника.  

• Объясняется принцип работы: картинка отправляется в гига-чат, хранится, извлекается идентификатор, делается запрос к гига-чату для получения описания.  

• Описание возвращается пользователю и используется как сообщение для нового запроса.  

• Формируется запрос к функции и передается в саму функцию.  

• Полученное название файла открывается и отправляется обратно пользователю.  

• Демонстрируется работа бота: отправка картинки с телефона и обработка в десктопном приложении.  

• Первая попытка отправки картинки не удалась из-за возмущения гига-чата.  

• Вторая попытка с другой картинкой успешна: сгенерировано описание и картинка.  

• Бот работает с ошибками, но демонстрирует основы работы с визуальной модальностью и искусственным интеллектом.  

• Вопросы можно задать в комментариях или через бота в телеграмме.  

• Код доступен на гетхабе.  

• Обещание новых интересных туториалов и прощание.