Обзор по большим языковым моделям (LLM)

• Обзор последних новинок в мире больших языковых моделей.  

• Сравнение моделей на основных бенчмарках: многозадачность, способность к размышлению, написание программ на Python, математические знания.  

• Лидерборд: модель Claude 3.0 опережает всех по средним показателям.  

• Третья Лама с 70 миллиардами параметров.  

• Сравнение с опенсорсными и платными моделями.  

• Контекстное окно 8000 токенов, обучалась на 15 триллионах токенов.  

• Модель E5 как энкодер для получения числового представления текста.  

• Использование для классификации текстов.  

• Обучение на слабо размеченных данных с использованием контраста.  

• Модель Grock от Google и Илона Маска.  

• Использование нескольких наборов весов для полносвязных слоев.  

• Применение технологии смеси экспертов для оптимизации инференса.  

• Модель Рекс с 132 миллиардами параметров и 16 экспертами.  

• Использование последних достижений в архитектурах.  

• Позиционное кодирование, сгруппированные системы внимания и теншины.  

• Новый тренд - развитие мультимодальности в моделях.  

• Модели могут работать с текстом, изображениями, видео и аудио.  

• Пример: модель Gemini 1.5, которая принимает последовательности из текста, звука, видео и изображений.  

• Gemini 1.5 использует трансформеры для обработки данных.  

• Модель работает с текстами, изображениями и видео.  

• Сравнение с другими моделями: Gemini 1.5 опережает Depe 3.5 и сравнимо с лидерами, такими как Five 4 и Claude 3.  

• Демонстрация работы модели с изображениями и текстом.  

• Модель может переводить изображения в код на Python и выполнять расчеты.  

• Работает с таблицами и конвертирует их в текст.  

• В России разрабатываются мультимодальные модели для работы с русским языком.  

• Модель Omni Fusion 1.1 от IRI использует архитектуру Mistral 7B.  

• Введены специальные токены для обозначения изображений.  

• Использование ClipView для получения имбедингов изображений.  

• Имбединги изображений подаются в обучаемый адаптер для перевода в текстовые токены.  

• Последовательность текстовых и имбединговых токенов подается в языковую модель для получения текстового ответа.  

• Модели сравниваются с другими мультимодальными моделями на различных бенчмарках.  

• Omni Fusion 1.1 показывает хорошие результаты, особенно в задачах визуально-финансового анализа.  

• Модель может быть полезна в практике, особенно для русскоязычных задач.  

• Большинство языковых моделей используют больше токенов для русского текста, чем для английского.  

• Это сокращает эффективное контекстное окно, что снижает качество ответов.  

• Предлагаются решения: расширение токенизатора или замена на токенизатор для русского языка.  

• Вихрь использует новый обученный токенизатор для русского языка.  

• Модель обучается с использованием подхода, который не использует дивергенцию Кульбака-Лейбнера.  

• Применяется метод слияния двух лосов с помощью сферической линейной интерполяции.  

• Модель может вызывать функции для генерации ответов.  

• Октопус использует функциональные токены для более точного определения функций.  

• Это улучшает качество ответов и уменьшает задержку обработки.  

• Опен-Чат использует стандартные архитектуры и обучение с подкреплением.  

• Применяется методика RRTF с использованием модели наград.  

• Модель обучается на основе данных с хорошими вариантами ответов.  

• Предлагается использовать тернарные веса для экономии памяти.  

• Архитектура трансформера заменяется на битлинер-слой.  

• Модель показывает высокую скорость при сопоставимом качестве.  

• Используются новые подходы для дообучения моделей.  

• Ретривел аугменты позволяют модели использовать документы для генерации ответов.  

• Подход Raft улучшает отбор документов для генерации ответов.  

• Модель обучается выбирать правильные документы и контекст.  

• Используется датасет с вопросами и правильными документами.  

• В 80% случаев включается правильный документ, в 20% - нет.  

• Модель LAMA победила ChatGPT по четырем из пяти бенчмарков.  

• Используется технология Raft, которая обучается на контексте.  

• Репрезент тюнинг позволяет обучать модель с минимальными затратами.  

• Сравнение стандартного фишин фаннинга и адаптеров.  

• Использование адаптеров и лора для обучения модели.  

• Ред и лорефт как расширения адаптеров.  

• Лорефт использует два вектора для обучения.  

• Применение к определенным слоям модели.  

• Преобразование внутреннего представления для уменьшения объема весов.  

• Обучение меньшего количества параметров снижает требования к железу.  

• Качество сопоставимо с полным фишин фаннингом.  

• Возможность самостоятельного проверки качества по ссылкам.  

• Агенты улучшают качество ответов больших языковых моделей.  

• Пример: планирование действий для решения запросов.  

• Классификация шаблонов проектирования агентов: рефлексия, использование инструментов, планирование.  

• Агенты хранят контекст диалога в отдельной памяти.  

• Разные агенты могут использовать одну и ту же модель, но с разными промтами.  

• Пример: кодер и критик, которые взаимодействуют для улучшения кода.  

• Агенты могут использовать внешние инструменты для решения задач.  

• Пример: использование поиска для получения информации.  

• Пример: выполнение кода с помощью интерпретатора Python.  

• Агенты могут планировать действия для выполнения задач.  

• Пример: создание изображения на основе позы.  

• Возможность совместной работы нескольких агентов для моделирования сложных систем.  

• Обсуждение систем типа Devi и Microsoft.  

• Вопросы о лидербордах и новых моделях.  

• Важность подбора данных для улучшения метрик моделей.  

• Обсуждение двух подходов к сбору данных для обучения моделей: диалог вопрос-ответ и структурированные данные.  

• Вопрос о том, как лучше подходить к обучению: сначала накатить неструктурированные данные, затем структурированные, или наоборот.  

• Мнение о том, что FFNN может понижать эрудированность моделей, но улучшает результаты на конкретных задачах.  

• Контрастное обучение как метод улучшения моделей, особенно для генеративных моделей.  

• Подход Raft, где модели дают не только запрос, но и набор документов для анализа.  

• Важность дополнительного контекста для моделей, который помогает им лучше оперировать данными.  

• Модель E5, выпущенная в 2024 году, с добавлением слоя полносвязных сетей.  

• Каждый эксперт ориентируется на определенную категорию слов, но обучается совместно.  

• Роутер определяет, какому эксперту направить запрос, и все эксперты обучаются совместно.  

• Адаптеры как надстройка к архитектуре модели, позволяющая улучшать результаты в узкой нише.  

• Возможность быстрого переключения между адаптерами для разных задач.  

• Пример использования адаптеров для обучения моделей под конкретные задачи, такие как классификация текстов.  

• Модели, реализованные на Hugging Face, обычно поддерживают различные методы обучения.  

• Стандартные архитектуры моделей позволяют использовать адаптеры и методы обучения.  

• В большинстве случаев адаптеры можно применять к распространенным моделям, но для специфических моделей может потребоваться переписать код.  

• Обсуждение локального запуска моделей на архитектуре Lama 2.  

• Возможность запуска моделей с 7 миллиардами параметров на инференс.  

• Обучение требует умножения количества параметров на множитель порядка пяти.  

• Вопрос о смеси экспертов и их применимости.  

• Сомнения в целесообразности склеивания разных фантинов.  

• Важность совместного обучения роутера и экспертов.  

• Обсуждение целесообразности квантования моделей.  

• Влияние квантования на качество и стоимость нового железа.  

• Рекомендация квантовать веса в большей степени, чем активации.  

• Благодарность за доклад и обсуждение.  

• Планы на будущее обсуждение темы.  

• Завершение встречи и пожелания хорошего вечера.