Интенсив GPT Week. Лекция 5: "Ускорение инференса LLM"

• Роман, старший разработчик в команде Яндекс, рассказывает о задачах ускорения инференса.  

• План: мотивация, компромисс между скоростью и качеством, методы ускорения инференса, обзор фреймворков.  

• Влияние моделей: архитектура, размер, тип задачи.  

• Типы задач: генеративные и дискриминативные.  

• Этапы генеративного сценария: обработка контекста и декодинг.  

• GPU: асинхронный ускоритель с памятью и ядрами процессоров.  

• Проблемы: голодание и мемори-баунд.  

• Типы ядер: ядра и тензор ядра.  

• Пользователи хотят хорошие метрики: RPS и Latency.  

• Ограничения компании: количество видеокарт и их архитектура.  

• Пример: сервис с 2000 RPS и 3-секундной Latency.  

• График: время генерации vs. качество модели.  

• Выбор модели: фиксированная область на графике.  

• Обучение базовых моделей и их ускорение.  

• Метод дистилляции: большая модель учитель и меньшая модель студент.  

• Минимизация функционала между учителем и студентом.  

• Вариации: хард-лейбл и софт-лейбл дистилляция.  

• K-дивергенция используется как метрика расстояния между двумя распределениями.  

• Она не симметрична и не считается аналитически, требует оценки методом Монте-Карло.  

• Проблема: если числитель не равен нулю, знаменатель тоже не должен быть равен нулю, иначе возникает неопределенность.  

• Обратная K-дивергенция сэмплирует по студенту и меняет местами числитель и знаменатель.  

• Проблема: не удается дифференцировать по сэмплированным значениям.  

• Решение: использование метода из статьи "мини-лэм".  

• Использует обратную K-дивергенцию и аппроксимацию градиента.  

• Проблема: градиенты ведут себя нестабильно.  

• Решение: применение трех трюков: замена градиента, регуляризация и нормализация длины.  

• Метод "мини-лэм" превосходит все представленные базовые линии.  

• Пример: дистилляция 13-миллиардной модели в 1.5-миллиардную модель дает значение 60.1.  

• Метрики показывают хорошее качество и устойчивость.  

• Цель: перевести веса модели из типов высокой точности в типы низкой точности.  

• Уменьшение объема памяти и ускорение инференса.  

• Процесс: деление на скейл, взятие целой части, добавление зиропоинта и клип.  

• Квантование только весов или весов и активаций.  

• Методы: равномерное и произвольное расположение значений.  

• Симметричная и асимметричная кватизация.  

• Процесс: отображение, замеры качества, внедрение в фреймворк инференса.  

• Два класса методов: пост-тренинг и обучение скейлов.  

• Пост-тренинг: требует мало ресурсов, но качество может быть хуже.  

• Обучение скейлов: требует больше ресурсов, но качество лучше.  

• Квантование трансформеров началось с моделей BERT.  

• Квантование весов прошло успешно, но квантование активаций вызвало проблемы из-за выбросов.  

• Проблема выбросов требует больших инженерных усилий и рассматривается в статье "Lemon Eight".  

• Выбросы возникают в фиксированных слоях трансформера, особенно в проекциях и первом слое.  

• Выбросы не зависят от размера модели, а от падения метрики понимания текста.  

• Устранение выбросов сильно изменяет метрики модели.  

• Смуф-Квант квантует и активации, и веса.  

• Проблема выбросов в активациях решается за счет усложнения весов.  

• Метод требует балансировки диагональных значений матрицы для оптимального квантования.  

• Качество квантования сохраняется на современных моделях, таких как Яндекс GPT.  

• Версия O1 квантует без потерь, но медленнее.  

• Ускорение в 1.6 раз по latency и в 2 раза по памяти.  

• Жетку квантует только веса, оптимизируя трансфер по памяти.  

• Ускорение достигается в сценарии декодирования, особенно на больших моделях.  

• Популярность метода Жетку подтверждается множеством проектов и фреймворков.  

• Квантизация в 4 бита происходит без потерь, в 3 бита есть небольшие потери.  

• Жетку позволяет запускать мощные модели на небольших устройствах.  

• Смуф-Квант оптимизирует другие сценарии, но Жетку более универсален.  

• Спекулятивный декодинг использует маленькую модель для генерации токенов и большую модель для верификации.  

• Оптимизация метрики акцепт увеличивает ускорение.  

• Маленькая модель используется многократно, что экономит вызовы большой модели.  

• Проблема обычного батченко в пропуске токенов и недо-утилизации видеокарты.  

• Решение: засовывать начало новых гипотез в баблы для полной утилизации видеокарты.  

• Реализация требует специальных статей и статей на Хабре.  

• Параметры фишин файт-тюнинг обсуждаются в  

• Модель Ям или Яндекс GPT может иметь обучаемые добавки.  

• Эти добавки весят около 200 килобайт и специализируют модель на конкретную задачу.  

• Они экономят ресурсы, так как несколько команд могут использовать одну и ту же опишку и пул видеокарт.  

• Сравнение семи опенсорсных фреймворков инференса по поддержке фичей и скорости работы.  

• Поддержка фичей требует написания инженерного кода, часто на плюсах.  

• Фреймворки на плюсах работают значительно быстрее, чем на питоне.  

• В компании разрабатывается собственный фреймворк инференса с большим штатом разработчиков.  

• Все ссылки на статьи и ресурсы будут в описании видео.  

• Приглашение посетить телеграм-канал и задать вопросы через телеграм-бот.