Зал персональной конференции Smiles Skoltech

• Обсуждение различных подходов к ускорению и оптимизации моделей, включая квантование, пуда, тритон, профайлинг, квкш, смесь экспертов и другие.  

• Мотивация для использования вычислительно эффективных архитектур: большие модели, мультиагентные системы, научные подходы, мультимодальные подходы.  

• Обсуждение различных единиц измерения вычислительной эффективности, включая флопсы, инференстайн, токи на секунду, параметры и потребляемую энергию.  

• Ускорение инференса и обучения: разные подходы, но пересекаются в некоторых аспектах.  

• Обсуждение ограничений скорости работы модели, включая пропускную способность размера бачая и вычислительные ограничения.  

• Производители GPU предоставляют информацию о пропускной способности для различных операций, что позволяет оценить ограничения модели.  

• Обучение моделей на двухстах GPU обходится в три тысячи долларов, что эквивалентно количеству электроэнергии, потребляемой одной семьей за 120 лет.  

• Энергопотребление не линейно зависит от времени обучения модели, и есть возможность найти оптимальную точку.  

• Хранение в памяти потребляет больше энергии, чем операции сложения и умножения.  

• Энергопотребление зависит от типа железа: цепи GPU, ASIC и FPGA.  

• CPU быстрее выполняет задачи, но не может обрабатывать большие объемы данных.  

• GPU медленнее, но может обрабатывать большие объемы данных.  

• Размер матриц ограничен размером кэша на железе.  

• Железо поддерживает разные типы вычислений: 32, 16, 8 и 4 бита.  

• Обсуждение различных типов железа и их ограничений, а также прослоек между верхним уровнем кода и железом.  

• Упоминается работа компании Cerebra, которая разрабатывает здоровенные чипы для обучения моделей.  

• Обсуждение различных типов данных, таких как float-point и fixed-point.  

• Упоминается, что диапазон значений и точность зависят от типа данных.  

• Сравнение качества работы различных форматов данных на разных распределениях.  

• Винтовые форматы работают лучше на равномерных распределениях, а экспоненциальные форматы - на нормальных.  

• Обсуждение возможности сжатия моделей, когда часть параметров округляется или выкидывается.  

• Упоминается работа по адаптивным форматам данных, которые могут подбираться под конкретную задачу.  

• Авторы обсуждают, что чем больше модель, тем быстрее она обучается и лучше сжимается.  

• Они также отмечают, что большие модели могут быть обучены заранее эффективно, а затем сжаты до меньшего размера.  

• В статье обсуждается, что размер модели измеряется не только в количестве параметров, но и в количестве параметров, умноженных на битность.  

• Это добавляет гибкости и позволяет найти оптимальный размер модели.  

• В статье упоминается, что стартапы могут разрабатывать специальное железо для обучения больших моделей, но это может привести к риску попасть в ловушку, когда новая архитектура моделей станет нерентабельной.  

• В статье говорится, что нейронные сети могут обучаться с квантованными значениями, такими как четыре бита, но это требует поддержки низкоуровневых библиотек и ядер.  

• Обсуждение того, когда лучше обучать большую модель, а когда сразу обучать маленькую.  

• Упоминается, что обучение большой модели может быть быстрее, но может потребовать больше ресурсов.  

• Кантование - это процесс преобразования значений в дискретный диапазон.  

• Упоминается, что кантование может быть реализовано с помощью линейного квантования, где диапазон значений делится на дискретные значения.  

• Упоминается, что квантование может быть реализовано с помощью различных подходов, включая линейное квантование и неравномерное квантование.  

• Обсуждаются различные типы квантования, включая симметричное, асимметричное, без знака и со знаком.  

• Упоминается, что неравномерное квантование может быть более точным, но требует больше вычислений.  

• Упоминается, что неравномерное квантование может быть реализовано с помощью различных подходов, включая компаинг, квантильное квантование и векторное квантование.  

• Обсуждаются плюсы и минусы различных подходов к неравномерному квантованию.  

• Обсуждение реализации неравномерно квантования через лока тейбл, что может привести к долгому времени работы.  

• Обсуждение использования функции компаинга для преобразования данных к равномерному распределению.  

• Обсуждение подхода к сжатию с использованием линейного квантования и обратного преобразования.  

• Обсуждение различных подходов к векторному квантованию, включая кластеризацию, аддитивное, резидио, пирамидальное и три-бейс.  

• Обсуждение использования латис для квантования и доказательства компактности.  

• Обсуждение экспериментов с квантованием весов и активаций, где активация является более важной для качества модели.  

• Обсуждение экспериментов с фиксированием весов и активаций для определения оптимального подхода.  

• Обсуждение выбора оптимального квантования, включая разбиение на подгруппы и выбор размера кэша.  

• Обсуждение важности упаковки данных в один кэш для оптимального использования ресурсов.  

• В видео обсуждается процесс квантования моделей, который включает в себя определение количества битов для каждого слоя модели.  

• Упоминается, что веса могут быть более равномерными по столбцам или строкам, что влияет на точность модели.  

• Также обсуждается идея использования смешанной видности, которая может улучшить качество модели.  

• В видео говорится о том, что обучение моделей с квантованием может быть более эффективным, чем обучение без квантования.  

• Обсуждаются различные подходы к обучению моделей с квантованием, включая обучение с использованием смешанных градиентов и обучение с использованием шума квантования.  

• В видео рассматривается идея адаптивного квантования, при котором уровень шума выбирается для каждого слоя модели в зависимости от уровня квантования.  

• Также обсуждается использование шума квантования для оптимизации архитектуры модели и для фантюнинга.  

• В заключение, автор обсуждает недавнюю работу, в которой шум квантования используется для диффузионных моделей.  

• В видео обсуждается оптимизация весов в нейронных сетях.  

• Предлагается использовать метод, который позволяет рассчитать изменение лос-функции в зависимости от изменения весов.  

• Этот метод позволяет определить, какие веса нужно изменить для улучшения функции.  

• В видео обсуждаются методы оптимизации квантования и сверсификации.  

• Предлагается использовать метод, который позволяет перераспределить ошибку на другие элементы матрицы.  

• Этот метод позволяет оптимизировать процесс квантования и сверсификации, не проходя по всем элементам матрицы.  

• В видео обсуждаются проблемы квантования ломок.  

• Обсуждаются различные методы решения этой проблемы, включая использование диагональной матрицы для аутлайеров и поиск столбцов с наибольшим количеством аутлайеров.  

• Обсуждение работы с квантованием и оптимизацией для моделей машинного обучения.  

• Упоминается работа, которая была сделана в 1993 году для улучшения работы моделей.  

• Обсуждаются различные методы квантования и оптимизации, включая использование логических операций для ускорения работы моделей.  

• Обсуждение бинаризации и ускорения обучения моделей.  

• Упоминается, что бинарные сетки работают в 40 раз быстрее, чем обычные сетки.  

• Рассматриваются различные методы ускорения обучения, включая использование логических операций и специальных процедур для обучения моделей в квантованном режиме.  

• Обсуждение оптимизации и ускорения обучения моделей.  

• Упоминаются работы, которые пытаются ускорить обучение за счет квантования и оптимизации.  

• Рассматриваются различные подходы к оптимизации и ускорению обучения, включая использование логических операций и специальных процедур.