Упрощенное обучение FLUX LoRa: От нуля до героя с графическим интерфейсом Kohya SS (8 ГБ графического процессора, Windows) Учебное руководство

• Автор проводит обучение по модели искусственного интеллекта Flux, преобразующей текст в изображение.  

• Проведены семь полных тренировок, разработаны уникальные конфигурации для графических процессоров с объёмом видеопамяти от 8 ГБ до 48 ГБ.  

• Конфигурации оптимизированы для использования видеопамяти и ранжируются по качеству обучения.  

• Koh GUI — удобный интерфейс для установки, настройки и начала обучения Flux.  

• Процесс идентичен для локальных и облачных сервисов.  

• Руководство охватывает основы и экспертные настройки.  

• Учебное пособие разбито на главы с ручным чтением английских субтитров.  

• Показано использование сгенерированных LORA в пользовательском интерфейсе Swarm.  

• Демонстрация обучения моделей Stable Diffusion 1.5 и STXL с помощью Koh GUI.  

• Скачивание и установка ZIP-файла Koh GUI.  

• Необходимые требования: Python 3.11.1, FFmpeg, CUDA 11.8, C++ и Git.  

• Проверка установки через командную строку.  

• Установка ускорения для графических процессоров.  

• Выбор BF16 для обучения.  

• Обновление библиотек и скриптов до последних версий.  

• Использование Torch 2.4 и перспективы улучшения скорости в Windows с Torch 2.41.  

• Экспериментальная версия Torch 2.5 и её особенности.  

• Запуск графического интерфейса Koh SS через папку Koh SS или автоматический стартовый файл.  

• Выбор LORA для оптимизации модели.  

• Различие между LORA и перезагрузкой: LORA требует меньше оборудования, но качество ниже.  

• Планы по исследованию точной настройки Dreamboot и публикации нового учебника.  

• Обещание опубликовать информацию о конфигурациях.  

• Учебник объединяет более 64 тренингов.  

• В посте представлены все тесты, результаты и модели.  

• Автор проводит восемь тренировок на графическом процессоре RTX A6000.  

• После завершения тестов будут опубликованы результаты и обновлены конфигурационные файлы.  

• Для получения последней конфигурации нужно скачать zip-файл.  

• Ссылка на пост будет в описании и комментариях.  

• Для графического процессора с 8 ГБ видеопамяти используется файл JSON размером 907514 МБ.  

• Медленные версии обеспечивают лучшее качество обучения, но снижают скорость.  

• 128-е место в рейтинге Lora считается лучшим.  

• Эксперимент с выборкой со сдвигом по времени влияет на раскраску.  

• Использование сдвига по временному шагу улучшает цвета, но снижает вероятность.  

• Автор продолжает исследование для выбора наилучшей конфигурации.  

• Важно установить путь к модели pre-unit.  

• Используется Flux Dev версии 23,8 ГБ с поддержкой FP16.  

• Модель автоматически загружает файлы обучающих моделей.  

• Подготовка набора данных включает обрезку и изменение размера изображений.  

• Скрипты для автоматической обрезки и изменения размера изображений полезны.  

• Изображения автоматически обрезаются и изменяются до 74 пикселей.  

• Логика повторения используется для балансировки несбалансированных наборов данных.  

• Для одной концепции устанавливается повторяющееся изображение.  

• Изображения для упорядочивания классификации не улучшают результаты.  

• Используется редкий токен ow x и подсказка «man».  

• Модель Flux работает даже без подсказок для экземпляра или класса.  

• При обучении нескольких человек можно использовать редкие токены для каждого.  

• Kohai готовит нужные папки и сохраняет их в указанном месте назначения.  

• Создаётся тренировочный файл coh-ss.  

• Структура папок включает изображения с картой hwx.  

• Единица повторяется в каждой эпохе, например, если установить значение на 100, оно будет повторяться 100 раз.  

• Программа считывает повторяющийся номер и подписи к изображениям.  

• Если изображения не подписаны, программа использует название папки в качестве подписи.  

• Joy Caption поддерживает создание субтитров на нескольких графических процессорах и пакетное создание.  

• Приложение позволяет перезаписывать существующие файлы заголовков, добавлять новые файлы и изменять максимальное количество новых токенов.  

• Планируется создание туториала по работе с приложением.  

• Субтитры снижают правдоподобность концепции, но не улучшают обобщение или переобучение.  

• Для личных тренировок использование субтитров не рекомендуется, но может быть полезно для тренировки стиля.  

• Редактор подписей позволяет редактировать изображения вручную или в пакетном режиме.  

• Приложение работает в интернете и не использует графический процессор.  

• После редактирования подписи можно проверить наличие токена активации.  

• Необходимо скопировать информацию в соответствующие поля для корректной настройки папки с изображениями.  

• Koh читает названия папок или подписи к ним и обучает на основе всех изображений.  

• Можно задать разные повторяющиеся номера для каждого понятия.  

• Указывается путь к модели и выходное имя модели.  

• Тренировка проводится на основе эпох, одна эпоха означает одновременное обучение всех изображений.  

• При использовании изображений с регуляризацией используется другая стратегия: 200 повторений и одна эпоха.  

• Увеличение количества изображений для одной концепции может потребовать уменьшения количества эпох.  

• Рекомендуется тренироваться до 200 эпох и сравнивать контрольные точки для получения лучшей контрольной точки.  

• Большинство людей собирают от 15 до 25 обучающих изображений, иногда до 50.  

• Для генерации выражений лиц необходимо включать в набор данных изображения с разными эмоциями.  

• Используйте изображения с разными позами, расстояниями и одеждой.  

• Качество набора данных критически важно для успеха.  

• Убедитесь в хорошей фокусировке, чёткости и освещении изображений.  

• Избегайте тёмного времени суток для съёмки.  

• После каждых десяти эпох генерируйте контрольную точку для сравнения результатов.  

• Выберите точное расширение файла подписи, например, txt.  

• Установите безопасный тензорный файл для VA.  

• Настройте модель clip large с использованием t5 xxl fp16.  

• Проверьте использование видеопамяти перед началом обучения.  

• Ограничьте использование видеопамяти до 500 МБ.  

• Отключите автозагрузки и используйте nvi tab для мониторинга использования видеопамяти и графического процессора.  

• Начните обучение и следите за прогрессом в командной строке.  

• Игнорируйте сообщения об ошибках, например, о невозможности загрузки xforms.  

• Обратите внимание на сообщения о количестве эпох и шагов.  

• Размер пакета равен единице, что обеспечивает высокое качество обучения.  

• Увеличение размера пакета незначительно увеличивает скорость, но снижает качество.  

• Общее количество шагов рассчитывается с учётом размера пакета, шагов накопления градиента и количества эпох.  

• Ожидается значительное увеличение скорости обучения с выпуском torch 2.4.1.  

• Облачные графические процессоры обеспечат высокую производительность.  

• Процедура запуска обучения будет аналогичной, но установка будет отличаться.  

• Откройте диспетчер задач и проверьте использование общей памяти графического процессора.  

• Убедитесь, что во время тренировки не используется больше общей памяти графического процессора, чем перед началом тренировки.  

• Общая видеопамять замедляет работу приложений ИИ примерно в 20 раз.  

• Использование памяти компьютера медленнее, чем память графического процессора.  

• При недостатке оперативной памяти можно настроить виртуальную оперативную память.  

• Увеличение объёма виртуальной оперативной памяти помогает избежать ошибок при ограниченном объёме оперативной памяти.  

• Для настройки виртуальной памяти нужно перейти в «Свойства ПК», выбрать «Расширенные системные настройки» и «Настройки производительности».  

• В разделе «Виртуальная память» можно установить пользовательский размер.  

• Контрольные точки модели сохраняются в папке «Выходные данные».  

• Размер контрольных точек может достигать 2,4 ГБ из-за большого объёма параметров модели Flux.  

• Данные сохраняются в формате float для максимальной точности.  

• Для уменьшения размера файла можно сохранить данные в формате fp16.  

• Точность сохранения не влияет на использование видеопамяти.  

• Модели Flux можно использовать в интерфейсах Config UI, Swarm UI и Forge Web UI.  

• Файлы модели переносятся в папку Swarm UI models.  

• Перед началом тренировки можно указать путь к папке для сохранения сгенерированных файлов.  

• Важно обновлять Swarm UI для корректной работы.  

• Для графических процессоров серии RTX 4000 можно добавить дополнительные аргументы для ускорения работы Swarm UI.  

• Настройка параметров: разрешение, количество шагов, тип sampler.  

• Выбор предпочтительного d-типа в зависимости от объёма видеопамяти графического процессора.  

• Квантованные модели могут работать с LORA, но их эффективность не тестировалась.  

• Модель Flux One версии dev fp8 и fp16 должны работать аналогично.  

• Квантованные модели попадают в папку stable diffusion в Swarm UI.  

• Перед использованием LORA можно сгенерировать изображение без LORA для тестирования.  

• Тестовые подсказки доступны в zip-файле.  

• В журналах отладки можно следить за ходом работы сервера и использованием видеопамяти.  

• Программа автоматически оптимизирует использование видеопамяти.  

• Модель разработки Flux One выбрана для тестирования.  

• Планируется тестирование на квантованных моделях в будущем.  

• Программа работает на 6 ГБ видеопамяти и оптимизирована.  

• При увеличении объёма видеопамяти программа использует больше ресурсов.  

• Возможность использования второго графического процессора через niv conf.  

• Скорость рисования лица составляет 1,5 секунды, выполняется 18 шагов.  

• Уровень шума 0,7 влияет на креативность изображения.  

• Использование шкалы наведения потока для улучшения качества изображения.  

• Swarm UI работает лучше, чем веб-интерфейс Porch, при использовании LORA.  

• Больше видеопамяти ускоряет процесс.  

• Программа генерирует изображение и рисует лицо с подсказкой о фотографии человека.  

• Рисование лица улучшает качество изображения, особенно на расстоянии.  

• Flux способен отделять очки от лица, что улучшает восприятие изображения.  

• Планируется улучшение рабочего процесса для более правдоподобных изображений.  

• Возможность обновления истории изображений для просмотра последних сгенерированных изображений.  

• Настройка весов и шкалы наведения потока для улучшения качества.  

• Решение проблемы переобучения модели путём точной настройки.  

• Использование генератора сетки для тестирования различных контрольных точек.  

• Фильтрация и удаление ненужных контрольных точек.  

• Тестирование подсказок без сегментации и с очками.  

• Загрузка сетки на оба графических процессора для ускорения процесса.  

• Упоминание о необходимости ожидания обновления сетки из-за большого количества поколений.  

• Возможность аренды master compute для более быстрых вычислений.  

• Открытие результатов тестирования в облачном URL.  

• Сравнение различных контрольных точек LORA.  

• Выбор лучшей контрольной точки на основе анализа таблицы результатов.  

• Использование функции подстановочных знаков для генерации новых подсказок.  

• Генерация 9999 изображений с новыми подсказками.  

• Рекомендации по использованию Ramport и Method Compute.  

• Загрузка конфигурации для обучения STXL.  

• Настройка параметров обучения, включая использование изображений регуляризации.  

• Подготовка обучающих данных и копирование изображений в соответствующие папки.  

• Копирование информации в соответствующие папки для сохранения контрольных точек.  

• Рекомендация использовать версию realistic vision для обучения.  

• Рекомендуется использовать Excel для обучения.  

• Для обучения ST 1.5 предлагается использовать третью версию Hyperrealism.  

• Общее количество шагов обучения составляет 6000 из-за 15 обучающих изображений и 200 повторений.  

• Предлагается сохранять данные каждые 20 эпох, но из-за одной эпохи сейчас это невозможно.  

• Для получения десяти контрольных точек количество шагов делится на десять.  

• Экономия при сохранении каждые 20 эпох составляет более шести гигабайт для STXL.  

• В утилитах можно извлечь LORA независимо от модели STXL или SD 1.5.  

• Настройки для извлечения LORA: путь сохранения, точность, минимальная разница, размер сетевого рейтинга.  

• Приглашение присоединиться к каналу Discord.  

• Упоминание эксклюзивного индекса публикаций на Patreon.  

• Информация о репозитории на GitHub и субреддите.  

• Анонс будущих уроков по Flux, включая «Обучение на рампе», «Обучение массовым вычислениям» и «Тонкая настройка».  

• Обновление поста с новыми находками.  

• Обсуждение замедления обучения в Windows по сравнению с Linux и планы по улучшению скорости с помощью Torch 2.4.1.  

• Надежда на новые обучающие видео.