AI Lecture 14 / part 6 - Multimodal LLM and AI assistents

• Рассматриваются различные модальности для представления информации в компьютере.  

• Обсуждаются способы кодирования и декодирования визуальной и другой информации.  

• Рассматривается унификация входов и выходов для моделей анализа последовательностей.  

• Основная идея - унифицировать интерфейс для работы с различными модальностями.  

• Модели принимают унифицированный вектор чисел, закодированный как текстовая, визуальная или звуковая информация.  

• Основное внимание уделяется обобщенному искусственному интеллекту и интеллектуальным помощникам.  

• Языковые модели используются как универсальный способ представления знаний и генерации ответов.  

• Системы строятся на базе больших языковых моделей, таких как GPT-5.  

• Центральная часть моделей может быть простой или сложной, с неизвестным внутренним устройством.  

• Рассматривается, как подготовить модели с использованием существующего инструментария.  

• Статья подготовлена сотрудниками Microsoft, которая имеет эксклюзивные права на использование GPT-4.  

• Microsoft продвигает идею покупки доступа к их моделям, но есть и другие компании, такие как Google и Сбербанк, с собственными продуктами.  

• Яндекс и другие компании также предлагают свои модели, доступные для тестирования.  

• GPT-5 и другие модели позволяют получать осмысленные результаты, но доступ к вычислительным ресурсам играет ключевую роль.  

• Microsoft и OpenAI не единственные компании, создающие такие модели, и есть множество новых моделей, которые будут обсуждаться далее.  

• Большие языковые модели могут генерировать не только текст, но и изображения.  

• Это позволяет решать прикладные задачи, такие как поиск похожих объектов.  

• Обучение в контексте помогает моделям решать новые задачи.  

• Языковые модели используют авторегрессию для прогнозирования следующего слова или символа.  

• Модель проецирует предыдущие токены в числовое представление ответа.  

• Это напоминает идею предиктивного контроля в управлении временными рядами.  

• Новые модели могут работать с изображениями и другими мультимодальными данными.  

• Визуальные автоинкодеры позволяют сжимать изображения до опорных точек.  

• Коннекшн-модуль преобразует выходы инкодера в последовательность токенов для языковой модели.  

• Языковые модели работают с последовательностью токенов.  

• Визуальные токены не имеют последовательности, но используются как контекст.  

• Модель анализирует все визуальные и текстовые токены для прогнозирования следующего символа.  

• Трансформеры анализируют длительные связи между элементами последовательности.  

• Они более универсальны, но требуют больше параметров.  

• Архитектура трансформеров позволяет строить модели для различных задач.  

• Обучение моделей включает выбор архитектуры и данных.  

• Академические ученые часто делятся своими архитектурами, но не всегда данными.  

• Важно понимать, как обучать модели для решения конкретных задач.  

• Существуют открытые модели с открытым исходным кодом, которые можно скачать и обучить.  

• Примеры таких моделей: GPT-3 и BERT.  

• Эти модели имеют три среза: обучение языковой модели, кодирование изображений и текста, и использование регрессии для прогнозирования.  

• Изображения кодируются в последовательность токенов, которые затем вставляются в текстовую строку.  

• Текст запроса также кодируется в числа, представляющие слова.  

• Используется регрессия на базе трансформера для прогнозирования следующего токена.  

• В BERT инкодер и языковая модель фиксированы и не обучаются.  

• Обучается только небольшая нейронная сеть для смешивания токенов изображений и текста.  

• Это позволяет построить систему без переобучения сложной языковой модели.  

• Flamingo позволяет подавать несколько изображений и текст на вход.  

• Используются предобученные инкодеры для изображений и языковые модели с обучаемыми блоками.  

• Эти блоки модулируют обработку текста, позволяя корректировать ответ в зависимости от изображений.  

• Модуляция сигнала позволяет корректировать ответ в зависимости от поданных изображений.  

• Это позволяет использовать большие языковые модели, такие как ResNet, для извлечения признаков.  

• Подход включает три направления: объединение всего в одну последовательность, использование специальной сети и модуляция сигнала.  

• Процесс обучения больших языковых моделей сложнее, чем маленьких.  

• Google и другие компании используют различные подходы для обучения моделей.  

• Сберчат и Яндекс используют подходы, описанные в статье по OpenAI.  

• Три основных способа обучения мультимодальных моделей: перемешивание текста и изображений, использование специальной модели или подкачка готовой языковой модели.  

• Проблемы и возможности каждого подхода.  

• Модель Фламинго позволяет смешивать текст и изображения.  

• Она может отвечать на вопросы по предоставленному контексту и решать уравнения.  

• Модель учится в процессе, даже если вопрос не использовался на этапе обучения.  

• G5.4 умеет обучаться из контекста и принимать решения.  

• Она может анализировать странные изображения и преобразовывать текст.  

• G5.4 изначально не разрабатывалась как мультимодальная модель, в отличие от Google.  

• G5.2 просто угадывала текст, G5.3 добавила контекст для ускорения обучения.  

• Возможность задавать модели контекст для решения задач.  

• G5.3 позволяет вести беседы с ассистентом, запоминая ответы и вопросы.  

• Инструкшен фо позволяет моделям обучаться на инструкциях.  

• Это новое свойство, которое раньше не использовалось.  

• Модели обучаются на инструкциях, а не только на текстах.  

• Появление инструкций G, которые целенаправленно готовили примеры для решения задач.  

• Модели учились не просто прогнозировать текст, а решать конкретные задачи.  

• Проблемы с обучением моделей, такие как расизм и троллинг, решались с помощью инструкций.  

• Введение лаймент рессер для улучшения поведения моделей.  

• Обратная связь от пользователей помогает модели учиться на своих ошибках.  

• Использование алгоритмов для корректировки поведения модели.  

• Появление мультимодальности в моделях, таких как G5.4 и Google Bard.  

• Возможность использования изображений и других данных на входе модели.  

• Переход к вопросу о построении мультимодальных моделей.  

• Введение контекста лернинг и инструкций для обучения моделей.  

• Инструкции помогают моделям структурировать задачи и упрощают их решение.  

• Возможность обобщения задач и комбинирования различных типов инструкций.  

• Модели ограничены набором инструкций, заложенных на этапе обучения.  

• Примеры задач, решаемых моделями, являются следствием элементарных задач.  

• Переход от прогнозирования символов к обучению моделей решать конкретные задачи.  

• Использование контекста для обучения моделей.  

• Контекст может быть запросом, текстом или предысторией разговора.  

• Контекст лернинг помогает моделям лучше понимать и решать задачи.  

• Различие между коммерческими и открытыми моделями.  

• Основная проблема - отсутствие достаточной информации для обучения модели.  

• Коммерческие модели не предоставляют данные для обучения.  

• Предложение использовать коммерческие модели для генерации инструкций.  

• Архитектура моделей известна, но данные для обучения недоступны.  

• Идея дистилляции знаний из коммерческих моделей.  

• Подход стал популярным в области открытых моделей.  

• Пример модели LAMA, разработанной Meta и опубликованной под публичной лицензией.  

• Активисты начали использовать коммерческие модели для генерации инструкций.  

• Коммерческие модели требуют значительных ресурсов для обучения.  

• Пример модели, требующей 700 ГБ видеопамяти.  

• Модели имитируют существующие коммерческие модели, выкачивая из них инструкции.  

• Модели фиксируют состояние на момент обучения.  

• Необходимость постоянного дообучения для поддержания актуальности.  

• Предложение зарабатывать на инструкциях для обучения моделей.  

• Модель Lava основана на модели Meta ELMo.  

• Использует мультимодальную информацию для обучения.  

• Включает визуальный инкодер и проецирующую матрицу.  

• Визуальные токены преобразуются в последовательность токенов.  

• Текст смешивается с визуальными токенами.  

• Модель решает задачу авторегрессии.  

• GPT-3 не может обрабатывать изображения напрямую.  

• Изображения преобразуются в текстовое описание.  

• Модель отвечает на вопросы о контексте изображения.  

• Модель отвечает на вопросы о содержании изображения.  

• Примеры включают детальное описание и сложные выводы.  

• Обучающая выборка используется для мультимодальной модели.  

• Lava и GPT-4 отвечают на вопросы о жареных крылышках.  

• Другие модели, включая Microsoft и Google, показывают худшие результаты.  

• Lava имитирует поведение коммерческой модели.  

• Быстрое развитие идеи перекачивания знаний.  

• Использование коммерческих моделей для обучения.  

• Примеры включают модели общего и специализированного назначения.  

• Модели претендуют на обобщение задач.  

• Примеры включают распознавание символов и принятие решений.  

• Опенсорсные модели пока уступают коммерческим.  

• Модель Lava обучалась на медицинских текстах.  

• Использовалась GPT-4 для генерации инструкций.  

• Примеры показывают, как модель отвечает на вопросы о рентгеновских снимках.  

• Альтернативный подход к созданию мультимодальных моделей.  

• Использование множества специализированных моделей.  

• Большая языковая модель оркестрирует эти модели.  

• Введение интеллектуального оркестратора, который будет использовать различные инструменты.  

• Оркестратор будет знать, какие инструменты у него есть, и как их использовать.  

• Это могут быть как открытые модели, так и закрытые модели или внешние источники информации.  

• Интеллектуальная система занимается не решением конкретных задач, а оркестрацией.  

• Она делегирует задачи специализированным моделям, которые умеют строить информацию.  

• Система обогащает запрос пользователя и выдает ответ на основе контекста.  

• Мем-реакт основан на языковой модели и может выполнять различные задачи.  

• Примеры включают анализ изображений, видео и замену объектов.  

• Модель использует внешние инструменты для решения задач.  

• Мем-реакт выстраивает интеллектуальные модули в единую цепочку для диалога с пользователем.  

• Модель запоминает контекст и вызывает нужных экспертов для решения задач.  

• Используются различные модели для выполнения задач, таких как пространственное определение и распознавание символов.  

• Чат GPT используется как интеллектуальный планировщик.  

• Перед каждым ответом пользователю задается контекст и инструкции для поведения.  

• Чат GPT обогащает информацию и дает ответы на вопросы пользователя.  

• Мем-реакт решает задачи, связанные с математикой, распознаванием шуток и логическим выводом.  

• Модель может производить расчеты на основе мультимодальной информации.  

• Мем-реакт расширяем и может быть улучшен за счет подключения новых моделей.  

• Microsoft активно рекламирует свои модели G и G4.  

• Google также разрабатывает мультимодальные модели, такие как Вики Вэй.  

• Недавно Google представил модель Gemini, которая решает мультимодальные задачи.  

• Gemini имеет три типа моделей: Nano, Pro и Ultra.  

• Nano модель будет доступна в смартфонах, Pro модель аналогична ChatGPT, а Ultra доступна только по подписке.  

• Архитектура включает мультимодальный вход, трансформеры и декодеры.  

• Gemini использует Tensor Core для обучения нейросетей.  

• Сравнение с другими моделями показывает, что Gemini может быть лучше в некоторых задачах.  

• Gemini решает задачи, такие как объяснение изображений и генерация постов.  

• Gemini может объяснять, что нарисовано на картинке и как за этим ухаживать.  

• Модель генерирует посты и фотографии, решает логические задачи.  

• Примеры включают генерацию мемов и фокусы с изображениями.  

• Сбербанк разрабатывает гигачат на базе G5.3, который решает языковые задачи.  

• Модель использует технологию инструкшн-тюнинг для улучшения на основе обратной связи пользователей.  

• Сбербанк также развивает генеративные модели, такие как Кандинский, для генерации изображений.  

• Сбербанк планирует развивать мультимодальность, включая генерацию изображений и распознавание звуков.  

• Мультимодальность активно развивается, но пока не реализована полностью.  

• Это направление будет активно развиваться в 2023 году.  

• Автор попытался создать программу на Python, используя языковую модель.  

• Модель сгенерировала код, который выглядит натурально.  

• Модель подобрала стек технологий и описала модель данных.  

• Модель допустила ошибку, не выдав число продуктов с разбивкой по названиям.  

• После диалога с автором модель исправила ошибку, добавив группировку по названию продукта.  

• Модель смогла правильно сформировать строку соединения для PostgreSQL.  

• Модель сгенерировала Docker-файл для создания контейнера приложения.  

• Автор попросил модель добавить зависимости, такие как Flask и FastAPI.  

• Модель правильно обозначила необходимые зависимости, но забыла добавить группировку по названию продукта.  

• Модель потеряла контекст и забыла добавить настройки базы данных.  

• После дополнительных уточнений модель исправила ошибки и добавила группировку по названию продукта.  

• Автор отметил, что модель нуждается в улучшении для более точного выполнения задач.  

• Старший разработчик задает требования и корректирует код.  

• ИИ может заменять младших разработчиков и джунов.  

• Со временем ИИ будет выполнять рутинные задачи, такие как подключение к базе данных.  

• ИИ будет помогать в разработке типовых задач.  

• Стажеры будут учиться работать с агентами, а не писать код вручную.  

• SMM-специалисты будут использовать генераторы контента, такие как GigaChat.  

• ИИ генерирует картинки и тексты, но пока не решает сложные задачи.  

• Сбербанк и другие разработчики работают над улучшением ИИ.  

• GigaChat в основном используется для SMM, но не для решения уравнений.  

• Работа менеджеров по контенту трансформируется в использование инструментов, таких как GigaChat.  

• Программисты будут больше заниматься дизайном и проектированием.  

• Слепое кодирование будет заменяться более продвинутыми инструментами.  

• В будущем программисты будут формулировать проекты на диалекте и получать код.  

• Это коснется не только программистов, но и других профессий.  

• Важно следить за развитием технологий и адаптироваться к изменениям.