Ускоряем нейросети на gpu и cpu: дистилляция и квантование

• Студент четвертого курса ИТМО, факультет программной инженерии и компьютерной техники.  

• Оптимизация инференса для удешевления и ускорения работы.  

• Использование дистилляции, прунинга и квантования для улучшения метрик.  

• Дистилляция: распространение знаний из объемной архитектуры в более мелкую.  

• Необходимость сети учитель и сети ученик.  

• Проблемы и преимущества дистилляции, особенно для трансформеров.  

• Прунинг: удаление ненужных фильтров и весов.  

• Различные подходы: структурный, индивидуальный, итеративный.  

• Критерии важности и их применение.  

• Квантование: вычисление значений с пониженной точностью.  

• Преимущества и недостатки различных методов квантования.  

• Проблемы и решения для инференса на железе.  

• Динамическое квантование: быстрое квантование и применение.  

• Статическое квантование: использование калибрационных датасетов.  

• Преимущества статического квантования для трансформеров.  

• Поддержка SIMD операций на CPU.  

• Фреймворки для компрессии и оптимизации весов.  

• Примеры оптимизации и их влияние на производительность.  

• Препроцессинг можно интегрировать в модель.  

• Фреймворки могут выполнять прунинг и квантование.  

• Инференс на GPU отличается от CPU: GPU асинхронный и мультиплайт.  

• Для GPU важна производительность, а не латентность.  

• Тестирование производительности на GPU включает синхронизацию и использование CUDA.  

• Torch HD Graph может удвоить скорость за счет статического графа.  

• TensorRT имеет несколько бэкендов, включая CUDA и Triton.  

• Оптимизация работы включает перебор ядер для повышения производительности.  

• Triton позволяет писать эффективные операции для GPU.  

• Пример кода для дистилляции и прунинга модели.  

• Прунинг по Тейлору и его результаты: 75% весов срезано, ускорение в 3.6 раза.  

• Метрики упали на 20%, но ускорение значительное.  

• Методы подходят для моделей компьютерного зрения и сверточных сетей.  

• Дистилляция и квантование используются для повышения производительности.  

• Прунинг применяется в основном для оптимизации на уровне инференса.  

• Эксперименты проводились для бизнес-задач.  

• Квантование используется стандартно, дистилляция применяется для нескольких моделей.  

• Оборудование: видеокарта стоимостью 230 тысяч рублей, процессор Ryzen.  

• Проблемы с моделями решаются изменением параметров в BIOS.  

• Рекомендуется использовать видеокарты с поддержкой CUDA.  

• Оборудование должно быть надежным и подходящим для работы дома.