Файнтюнинг и квантизация Llama-3 70B

• Автор планирует провести fine-tuning модели Lama 3.7B.  

• Обучение модели требует значительных вычислительных ресурсов.  

• Автор использует свой фреймворк GP Chain и библиотеку An-Slot.  

• Базовая модель Lama 3.7B не справляется с генерацией текста на русском языке.  

• Модель повторяет запрос бесконечно.  

• Автор будет обучать модель на облачном GPU от Imerss Cloud.  

• Регистрация на сервис по реферальной ссылке.  

• Развертывание виртуальной машины с двумя GPU.  

• Установка pip, virtualenv и клонирование фреймворка GP Chain.  

• Настройка переменных среды для обучения.  

• Использование платформы Wandb для визуализации метрик.  

• Обучение на три эпохи с использованием датасета G4.  

• Библиотека An-Slot не поддерживает мульти GPU.  

• Обучение на одной видеокарте требует около пяти дней.  

• Переход на более мощную видеокарту для ускорения процесса.  

• Запуск фонового процесса для обучения.  

• Обучение на 2400 шагов занимает около 10 часов.  

• Проверка прогресса обучения через Wandb.  

• Обучение завершено за 7 часов.  

• Модель генерирует качественные ответы на русском языке.  

• Модель достигла максимальной длины ответа 512 токенов.  

• Добавление команды для квантизации модели.  

• Использование метода quantize для сжатия модели.  

• Квантизация занимает около получаса.  

• Запуск квантизированной модели с помощью LamaCPP.  

• Модель генерирует ответы в нужном формате, но медленнее.  

• Модель можно скачать с Hugging Face.  

• Автор планирует протестировать модель на различных бенчмарках.  

• Призыв к зрителям оставлять комментарии и подписываться на канал.