Тонкая настройка моделей LLM – Курс по генеративному искусственному интеллекту

• Курс посвящен точной настройке моделей LLM с использованием Q Lora и Lora.  

• Включает теоретические и практические инструкции.  

• Рассматриваются понятия квантования, Lora, Clora, Peft и другие.  

• Реализуются проекты с использованием моделей Hugging Face и LLM с открытым исходным кодом.  

• Точная настройка важна для компаний, работающих в области генеративного искусственного интеллекта.  

• Курс включает пошаговое понимание и практические решения.  

• Видеоролики охватывают теоретическую и практическую интуицию.  

• Квантование важно для точной настройки моделей LLM.  

• Обсуждаются методы Lora, Clora и их теоретическая интуиция.  

• Квантование модели включает преобразование данных из более высокого формата в более низкий.  

• Обсуждаются полная точность, половинная точность и типы данных.  

• Квантование связано с хранением данных в памяти и параметрами моделей LLM.  

• Рассматриваются калибровка и различные режимы квантования.  

• Квантование означает преобразование данных из более высокого формата в более низкий.  

• Обсуждаются два типа квантования: после тренировки и обучение с учетом квантования.  

• Квантование важно для точной настройки моделей LLM.  

• Квантование - это преобразование данных из более высокого формата памяти в более низкий.  

• Пример: нейронная сеть с весами, хранящимися в 32-битной памяти.  

• FP32 означает 32-битную плавающую точку одинарной точности.  

• Большие модели, такие как LLM, могут иметь миллионы параметров.  

• Ограниченный объем оперативной памяти и видеопамяти затрудняет загрузку таких моделей.  

• Решение: квантование для уменьшения объема памяти и ускорения вычислений.  

• Квантование позволяет быстро делать логический вывод.  

• Пример: использование моделей в мобильных устройствах и периферийных устройствах.  

• Квантование уменьшает объем памяти и ускоряет вычисления.  

• FP32 - одинарная точность, FP16 - половинная точность.  

• В TensorFlow данные хранятся в 32-битной памяти.  

• Квантование помогает уменьшить размер моделей для использования в мобильных устройствах и периферийных устройствах.  

• Квантование приводит к потере точности.  

• Методы калибровки помогают компенсировать потерю информации.  

• Симметричное квантование и асимметричное квантование - два основных типа квантования.  

• Пакетная нормализация - метод симметричного квантования.  

• Цель: центрирование весов на ноль и сосредоточение их распределения вблизи нуля.  

• Пример: преобразование чисел с плавающей запятой в более низкий формат памяти.  

• В модели LLM веса хранятся в 32 битах.  

• Цель - преобразовать их в беззнаковые целые числа.  

• Восьмибитные числа могут принимать значения от 0 до 255.  

• Преобразование значений от 0 до 1000 в диапазон от 0 до 255.  

• Важно понимать, как числа хранятся в памяти.  

• В 32-битных числах один бит используется для знака, восемь битов для экспоненты и 23 бита для мантиссы.  

• В 16-битных числах с плавающей запятой используется один бит для знака и пять битов для экспоненты.  

• Оставшиеся десять битов используются для мантиссы.  

• Преобразование 32-битного числа в диапазон от 0 до 255.  

• Уравнение для преобразования чисел с плавающей запятой в беззнаковые целые числа.  

• Масштабный коэффициент рассчитывается как x max / q max.  

• Пример: 250 делится на 3,92, что дает 64.  

• В случае асимметричного распределения, значения могут быть смещены влево.  

• Пример: значения от -20 до 1000 преобразуются в диапазон от 0 до 255.  

• Формула для асимметричного квантования: x минус среднее значение x / q max.  

• Квантование преобразует числа в более мелкие биты.  

• Пример: -20 преобразуется в -50 при делении на 4.  

• Нулевая точка и масштаб - важные параметры для квантования.  

• Квантование сжимает значения из более высокого формата в более низкий.  

• Процесс сжатия называется калибровкой.  

• Калибровка необходима для преобразования данных в квантованную модель.  

• Используется предварительно обученная модель.  

• Применяются калибровка и преобразование данных в квантованную модель.  

• Квантованная модель используется для любых вариантов использования.  

• Используется обученная модель и новые данные для точной настройки.  

• Потеря данных и точности минимизируется.  

• Квантованная модель создается после точной настройки.  

• Обсуждение техник Лаура и Клора.  

• Лаура адаптирует большие языковые модели на низком уровне.  

• Клора - это адаптация моделей на высоком уровне.  

• Эти техники важны для проектов с генеративным искусственным интеллектом.  

• "Лаура" означает "адаптация низкого ранга" и используется для точной настройки моделей LLM.  

• Предварительно обученные модели, такие как GPT-4 и GPT-4 Turbo, обучаются на больших объемах данных из Интернета и книг.  

• Эти модели поддерживают 1,5 миллиона токенов и могут предсказывать следующее слово на основе контекста всех лексем.  

• Тонкая настройка включает обучение всех параметров модели для создания приложений, таких как чат-боты.  

• Тонкая настройка может быть выполнена для конкретной предметной области, например, для финансовых целей или продаж.  

• Тонкая настройка конкретной задачи позволяет адаптировать модель для различных задач, таких как преобразование текста в SQL или создание документов вопросов и ответов.  

• Полная настройка параметров требует обновления всех весов модели, что может быть ресурсоемким.  

• Ограничения аппаратных ресурсов, таких как оперативная память и графический процессор, могут стать проблемой.  

• Для решения этих проблем используются методы, такие как Lora и Chlora.  

• Lora отслеживает изменения новых весов, а не обновляет все веса.  

• Chlora является улучшенной версией Lora и использует матричную декомпозицию для отслеживания изменений.  

• Эти методы позволяют избежать обновления всех весов и улучшить производительность моделей.  

• Лора выполняет матричную декомпозицию, разбивая большую матрицу на две меньшие.  

• Ранг матрицы можно вычислить с помощью алгебраического уравнения.  

• Использование двух метрик уменьшает количество параметров, сохраняя точность.  

• Разложение матрицы на две меньшие улучшает эффективность точной настройки.  

• Меньшее количество параметров требует меньше ресурсов.  

• Увеличение ранга увеличивает количество параметров, но в разумных пределах.  

• Существуют различные методы точной настройки, такие как встраивание префикса и адаптер.  

• Адаптер увеличивает количество параметров с повышением ранга.  

• Лора позволяет уменьшить количество параметров без значительного снижения точности.  

• При повышении ранга увеличивается количество параметров, но в разумных пределах.  

• Пример с рангом 8 показывает, что параметры увеличиваются, но остаются в разумных пределах.  

• Важно выбирать ранг, который не сильно увеличивает количество параметров.  

• Квантованная Лора уменьшает точность параметров для экономии памяти.  

• Квантование позволяет преобразовывать значения из 16-битного формата в 4-битный.  

• Пример с Google Gamma Model показывает, как квантование улучшает производительность.  

• Обсуждение конфигурации Lora и выбора целевых модулей.  

• Введение в квантование и обработку данных.  

• Пошаговый способ точной настройки моделей LLM на примере Lamma Two.  

• Введение в технику "обучение эффективному переносу параметров" PFT.  

• Обсуждение техники "Лаура" для адаптации больших языковых моделей.  

• Обещание рассказать о теоретических аспектах в следующих видео.  

• Установка библиотек accelerate, PFT, bits и bytes.  

• Объяснение квантования весов моделей LLM.  

• Использование трансформеров и PFT для точной настройки.  

• Объяснение работы PFT и его методов.  

• Использование библиотеки as transformers для точной настройки.  

• Подготовка набора данных для точной настройки моделей LLM.  

• Описание шаблона приглашения для моделей LLM.  

• Преобразование набора данных в формат, подходящий для Lamma Two.  

• Пример использования набора данных "открытый помощник гуана гуанако".  

• Преобразование набора данных в формат Lamma Two.  

• Объяснение методов тонкой настройки моделей LLM.  

• Ограничения ресурсов Google Colab и необходимость эффективной настройки.  

• Объяснение необходимости эффективной настройки параметров.  

• Анонс следующего видео с объяснением техник Lora и Chlora.  

• Призыв к подписке и лайкам для поддержки.  

• Загрузка графической модели LAMA 27B и обучение её на K-образце.  

• Использование ранга 64 и параметра масштабирования 16 для модели.  

• Преобразование 32-битного кода в 4-битный для обучения.  

• Использование модели LAMA 27B Chat HF и набора данных Hugging Face.  

• Параметры хлора: ранг 64 и альфа 16.  

• Квантование с использованием параметров битов и байтов.  

• Использование параметров для обучения и квантования.  

• Параметры для обучения: fp 16, bf 16, размер пакета, шаг накопления градиента.  

• Использование оптимизатора Adam и косинусного планировщика LR.  

• Параметры для контролируемой настройки: длина последовательности, упаковка, карта устройства.  

• Загрузка модели на графический процессор и настройка битов и байтов.  

• Использование токенизатора и конфигурации хлора.  

• Загрузка набора данных и модели LAMA 2 с точностью до 4 бит.  

• Проверка совместимости графического процессора с float 16.  

• Загрузка базовой модели и токенизатора LAMA.  

• Конфигурация битов и байтов и карта устройств.  

• Загрузка конфигурации хлора и параметров обучения.  

• Использование токенизатора для преобразования входных данных в вложения слов.  

• Загрузка конфигурации LORA и PFT.  

• Параметры обучения: выходной каталог, количество эпох, скорость обучения.  

• Контролируемая тонкая настройка с использованием токенизатора и тренера.  

• Настройка выходного каталога, скорости обучения и других параметров.  

• Установка модели, набора данных, конфигурации PFT, текста, максимальной длины и токенизатора.  

• Обучение модели в течение 250 эпох с размером шага 25.  

• Загрузка набора данных и установка необходимых пакетов.  

• Объяснение сложности техники тонкой настройки.  

• Важность понимания PFT, квантования, точности и других параметров.  

• Обещание разобрать код в следующем видео.  

• Ожидание завершения обучения модели с 1000 записями.  

• Завершение 250 эпох за 25 минут.  

• Сохранение обученной модели и создание адаптера.  

• Создание подсказки для генерации текста.  

• Использование конвейера для комбинирования модели, задачи и токенизатора.  

• Ожидание ответа и использование графического процессора для ускорения процесса.  

• Пример использования модели для генерации текста.  

• Пример вопроса и получение ответа.  

• Демонстрация работы модели и оценка времени и места, необходимых для выполнения задачи.  

• Определите свой бюджет для владения самолетом в США.  

• Исследования в области генеративного искусственного интеллекта и науки о данных.  

• Важность чтения исследовательских работ и необходимость базовых знаний.  

• Квантование для уменьшения размера моделей.  

• Пример с моделью Lama Two и её 7 миллиардами параметров.  

• Преобразование модели в 8-битный формат для уменьшения ресурсов.  

• Преобразование значений в один бит для неограниченных ресурсов.  

• Возможность выполнения точной настройки и логического вывода.  

• Важность реализации однобитного LLM для сообщества.  

• Bitnet как однобитная модель LLM.  

• Троичные значения параметров: -1, 0, 1.  

• Улучшение производительности и экономичности по сравнению с 32- и 16-битными моделями.  

• Улучшение скрытой памяти, пропускной способности и энергопотребления.  

• Важность понимания, как используются троичные значения в моделях LLM.  

• Веса трансформатора LLM преобразуются в значения -1, 0 или 1.  

• Это называется улучшением по Парето и применяется для снижения затрат на логический вывод.  

• Преобразование весов позволяет упростить операции умножения и сложения.  

• Квантование преобразует веса в значения -1, 0 или 1.  

• При точной настройке и прямом распространении веса умножаются на входные данные.  

• Преобразование весов в троичные значения упрощает операцию умножения, что снижает нагрузку на графический процессор.  

• Однобитная архитектура снижает затраты на логический вывод и энергопотребление.  

• Это позволяет улучшить производительность моделей LLM при сохранении точности.  

• Переход к однобитной архитектуре требует разработки новой аппаратной оптимизации.  

• Увеличение размера моделей LLM усложняет развертывание и вызывает экологические и экономические проблемы.  

• Квантование после обучения снижает точность весов и активации, уменьшая объем памяти и вычислительные требования.  

• Переход к четырехбитным моделям LLM является тенденцией.  

• Однобитная архитектура, такая как BitNet, снижает стоимость LLM при сохранении производительности.  

• Матричное умножение в BitNet включает только сложение целых чисел, что экономит энергию и ускоряет вычисления.  

• BitNet предлагает явную поддержку фильтрации объектов и соответствует базовому уровню точности.  

• Преобразование чисел в троичные значения происходит с помощью функции квантования абсолютного среднего значения.  

• Эта функция преобразует все числа в три значения: -1, 0, 1.  

• Применение этой формулы позволяет упростить операции умножения и сложения, что снижает нагрузку на графический процессор.  

• Замена nn dot linear на bit linear.  

• Использование 1,58-битного веса и 8-битной активации.  

• Уменьшение объема памяти и задержки для логического вывода.  

• Сравнение моделей Lama и LLM по размеру и задержке.  

• Введение в эру одноразрядных моделей LLM.  

• Планы по использованию этих моделей в будущем.  

• Создание модели Gamma для ответственной разработки ИИ.  

• Использование технологий, аналогичных Gemini.  

• Участие Google в сообществах с открытым исходным кодом.  

• Сравнение моделей с открытым исходным кодом Gamma и Lama Two.  

• Gamma показывает 64,3 балла по различным показателям точности.  

• Доступность моделей Gamma с 2 и 7 миллиардами параметров.  

• Получение доступа к модели и использование лицензии.  

• Пример тонкой настройки с помощью модели Gamma.  

• Планы по созданию потрясающих вариантов использования.  

• Установка библиотек для квантования и тонкой настройки.  

• Объяснение процесса квантования для уменьшения объема памяти.  

• Использование библиотек для точной настройки и токенизации.  

• Необходимость токена доступа для загрузки модели Gamma.  

• Модель Gamma доступна в фазе обнимания.  

• Для получения токена доступа к модели Hugging Face нужно зайти в настройки и скопировать его.  

• Токен доступа сохраняется в Google Colab как секретный ключ.  

• Для доступа к токену используется команда "get_token_hf" в среде Simple OS.  

• Модель Google Gamma Two B с 2 миллиардами параметров загружается в 32-битный формат.  

• Квантование преобразует веса модели в 4-битный формат для уменьшения размера.  

• Квантование помогает сбалансировать потерю информации при точной настройке.  

• Для вызова токенизатора используется идентификатор модели и конфигурация квантования.  

• Модель загружается в графический процессор Google Colab.  

• Токенизатор используется для генерации предложений на основе входных данных.  

• Модель генерирует предложения на основе входных данных.  

• Пример: "Воображение - это нечто большее, чем знания" сгенерировано на основе модели.  

• Модель может генерировать предложения на основе заданной информации.  

• Используется техника ранговой декомпозиции для точной настройки модели.  

• Выбирается значение ранга, например, 8.  

• Настройка включает параметры kv: проект "вверх", проект "вниз" для задачи языкового моделирования.  

• Обсуждение фазы объятий и набора данных.  

• Использование цитат и авторов для обучения модели.  

• Подготовка данных для тренировки и определение авторов.  

• Описание контролируемой точной настройки SFT.  

• Указание входных и выходных данных.  

• Пример использования нулевого кода для указания предложений.  

• Использование данных train и обучающих аргументов.  

• Настройка параметров обучения и оптимизация.  

• Запуск программы и наблюдение за процессом обучения.  

• Наблюдение за прогрессом обучения и уменьшением потерь.  

• Пример генерации цитаты и определения автора.  

• Проверка точности модели на различных примерах.  

• Обсуждение зависимостей и интеграции с внешними источниками.  

• Введение платформы Vex VXT для упрощения работы с LLM.  

• Преимущества использования Vex VXT для создания конвейеров LLM без написания кода.  

• Призыв к использованию платформы Vex VXT.  

• Пошаговое руководство по входу в систему и началу работы.  

• Обещание дальнейшего обучения и объяснения платформы.  

• Войдите в систему и перейдите в раздел "Проект искусственного интеллекта".  

• Создайте новый проект с искусственным интеллектом и назовите его, например, "rag system".  

• Включите необходимые параметры для запуска приложения.  

• В конвейере есть два важных раздела: запрос и вывод.  

• Запрос запускает поток, а вывод - окончательный ответ.  

• Используйте значок "плюс" для добавления действий, таких как "сгенерировать ответ" и "добавить набор данных".  

• Добавьте набор данных для поиска, например, PDF-файлы.  

• Создайте исследовательскую работу и добавьте набор данных.  

• Используйте различные форматы файлов, такие как обычный текст, файлы и Google Drive.  

• Нажмите на кнопку "Загрузить файл" и загрузите один из исследовательских файлов.  

• Загрузка PDF-файла исследовательской работы по PEP.  

• Добавление PDF-файла в проект.  

• Возможность добавления любого количества PDF-файлов до 5 МБ.  

• Добавление поискового набора данных в проект.  

• Выбор набора данных "исследовательская работа".  

• Сохранение данных для использования в системе.  

• Создание и добавление модели LLM.  

• Выбор модели: Azure OpenAI GPT-4.  

• Настройка подсказки для модели.  

• Сохранение настроек и проверка работы.  

• Использование игровой площадки для тестирования.  

• Примеры вопросов и ответов на основе исследовательских работ.  

• Возможность интеграции с чат-ботами в Telegram и WhatsApp.  

• Простота использования без необходимости написания кода.  

• Добавление интеллектуальных функций для выполнения базовых задач.  

• Можно использовать несколько функций активации в одной "умной функции".  

• Пример: поиск в Google, Википедии и других источниках.  

• Удаление ненужных наборов данных для оптимизации поиска.  

• Настройка поиска занимает время, но становится проще с практикой.  

• Пример запроса "кто такой Кришна?" и получение ответа.  

• Вопрос о реализации функциональности в коде для чат-бота.  

• Получение HTTP-запроса и post-запроса.  

• Установка ключа API и полезной нагрузки.  

• Пример кода на Python для отправки запроса.  

• Создание и сохранение ключа API.  

• Использование API для выполнения различных функций.  

• Пример кода на Python для запроса "что такое машинное обучение?".  

• Настройка ключа API и полезной нагрузки.  

• Ошибка при выполнении запроса и её исправление.  

• Пример успешного выполнения запроса и получения ответа.  

• Простой код на Python для выполнения запросов.  

• Использование конечной точки и API-ключа.  

• Зависимость от внешнего интерфейса для реализации функциональности.  

• Машинное обучение включает создание алгоритмов и имеет множество зависимостей.  

• Каталог приложений позволяет подключаться к различным сервисам, таким как Google Диск, Confluence, Zapier, Slack, Teams.  

• В будущем планируется поддержка LLM и внедрение собственных моделей на платформу.  

• Gradient AI предоставляет множество моделей LLM и позволяет выполнять тонкую настройку.  

• Платформа поддерживает создание и внедрение моделей на различных языках, включая Python и Java.  

• Gradient AI ускоряет трансформацию ИИ и помогает решать критически важные задачи.  

• Для работы с Gradient AI необходимо зарегистрироваться и создать новое рабочее пространство.  

• Идентификатор рабочей области и маркер доступа используются для авторизации.  

• Платформа предоставляет документацию и примеры кода для Python SDK.  

• Gradient AI позволяет интегрировать различные базы данных, такие как MongoDB и Haystack.  

• В рабочем пространстве можно найти готовые модели для точной настройки.  

• Для точной настройки используется Python SDK и Google Colab.  

• Установка Gradient AI выполняется через pip install gradient ai upgrade.  

• Идентификатор рабочей области и токен доступа градиента настраиваются в среде программирования.  

• Код для точной настройки включает импорт градиента и инициализацию модели.  

• Пример тонкой настройки модели с использованием Python SDK.  

• Инициализация градиента и вызов базовой модели.  

• Использование модели nose harm two для точной настройки.  

• Создание базовой модели для точной настройки.  

• Создание модели-адаптера для дальнейшей тонкой настройки.  

• Пример кода для создания адаптера модели.  

• Использование формата для создания пользовательских данных.  

• Пример запроса для базовой модели.  

• Получение ответа от адаптера модели.  

• Печать запроса с инструкциями и ответами.  

• Использование метода "точка завершена" для получения сгенерированного результата.  

• Подготовка к точной настройке модели.  

• Создание пользовательских данных для обучения модели.  

• Пример данных о Кришне.  

• Использование базы данных для получения данных.  

• Инициализация количества эпох для точной настройки.  

• Использование метода "точная настройка" для предоставления образцов.  

• Увеличение количества эпох для точной настройки.  

• Тестирование модели после точной настройки.  

• Получение сгенерированного результата.  

• Удаление адаптера модели после завершения работы.  

• Получение ответа после точной настройки.  

• Пример ответа о Кришне.  

• Впечатления от работы с облачной платформой Gradient Cloud.  

• Удаление модели после завершения работы.  

• Рекомендации по использованию Gradient AI Cloud.  

• Призыв к тестированию и использованию модели.