Лама объяснил: KV-Кэш, Ротационное Позиционное встраивание, Среднеквадратичная норма, Внимание к сгруппированным запросам, SwiGLU

• Видео рассматривает архитектуру и математические основы модели LAMA, которая является большой языковой моделью.  

• LAMA имеет 6,7 млрд параметров и 13,3 млрд параметров, обученных на 100 млрд токенов.  

• LAMA имеет четыре измерения: размерность, количество голов, количество фишек и длина контекста.  

• LAMA использует сгруппированное внимание к нескольким запросам и функцию активации zwygloo для уровня обратной связи.  

• Нормализация используется для нормализации входных данных перед каждым блоком.  

• Встраивание - это преобразование каждого входного идентификатора в вектор размером 512 или 4096.  

• Встраивание является параметром модели и изменяется во время обучения.  

• В видео обсуждается проблема, возникающая из-за изменения функции потерь, которая приводит к изменению веса команды разработчиков аппаратного обеспечения и программного обеспечения.  

• Это приводит к тому, что команда разработчиков программного обеспечения получает входные данные, которые они никогда раньше не видели, и им приходится корректировать свою стратегию.  

• В видео объясняется, как работает нормализация слоев в pytorch.  

• Она включает в себя вычисление двух статистических величин - среднего значения и дисперсии - для каждого элемента входного вектора, а затем нормализацию значений в соответствии с формулой.  

• Это позволяет преобразовать исходное распределение объектов в нормализованные значения, которые распределены с нулевым средним значением и единичной дисперсией.  

• В статье утверждается, что успех нормы слоя обусловлен не повторным центрированием и масштабированием, а главным образом масштабированием.  

• Авторы предлагают использовать среднеквадратичную статистику для нормализации слоя, которая не зависит от среднего значения и среднеквадратичного значения.  

• В vanilla transformer позиционные вложения добавляются к каждому токену для представления его абсолютной позиции в предложении.  

• В относительных позиционных кодировках два токена обрабатываются одновременно, что учитывается в механизме внимания.  

• В статье предлагается использовать вращательные позиционные кодировки, которые представляют собой вектор, представляющий расстояние между двумя токенами.  

• Эти кодировки были представлены в статье от Google и используются в модели transformer.  

• В этом видео обсуждается использование вращающихся позиционных вложений в моделях машинного обучения.  

• Эти вложения используются для вычисления внимания и разрушения связи между двумя токенами, если они находятся далеко друг от друга.  

• В этом разделе объясняется, как работает самонаблюдение в LAMA.  

• Сначала матрица q умножается на транспонированную матрицу k, затем применяется softmax и получается матрица, отражающая интенсивность взаимоотношений между двумя символами.  

• В этом разделе обсуждается многоголовое внимание, которое представляет собой последовательность ввода, разделенную на несколько матриц меньшего размера для каждой головы.  

• Затем выходные данные этих голов объединяются и умножаются на матрицу выходных данных для получения результата многоголовочного внимания.  

• В этом разделе объясняется, как обучается LAMA.  

• Модель обучается следующей задаче предсказания токенов, где она пытается предсказать следующий токен, наиболее вероятный для продолжения запроса.  

• Кэш KV используется для выполнения меньшего количества вычислений с токенами, которые уже были видны во время логического вывода.  

• Кэш KV применяется только во время логического вывода в моделях трансформатора, таких как LAMB.  

• Внимание к себе работает на общем уровне, где матрица запросов умножается на матрицу ключей и затем на матрицу v.  

• На каждом временном шаге внимание к себе вычисляет скалярное произведение между токенами и добавляет его к входным данным.  

• Кэш KV позволяет не пересчитывать все скалярные произведения, а только последний ряд.  

• Кэш KV хранит ключи и значения, которые используются для умножения на матрицу v.  

• Групповое внимание к нескольким запросам позволяет ускорить логический вывод, но требует больше памяти и вычислений.  

• В видео обсуждается, как оптимизация вычислений может улучшить производительность моделей внимания.  

• В частности, автор обсуждает, как доступ к памяти может стать узким местом в вычислениях, и как это может быть решено с помощью кэш-памяти kv.  

• В статье также рассматривается внимание многих людей, которое является групповым вниманием многих людей.  

• В статье сравниваются различные алгоритмы внимания, включая внимание многих людей и внимание нескольких запросов.  

• В частности, внимание нескольких запросов имеет меньшее соотношение между общим объемом памяти и количеством арифметических операций, что делает его более эффективным.  

• В видео обсуждается группированное внимание к нескольким запросам, которое является компромиссом между качеством модели и ее скоростью.  

• В этом алгоритме, запросы делятся на группы, и для каждой группы есть один заголовок для ключей и значений.  

• В видео также обсуждается функция активации zwiggl, которая была проанализирована в статье Ноама Шазье.  

• Эта функция активации была разработана для улучшения производительности моделей внимания.  

• В видео обсуждается функция активации Zwyglu, которая используется в модели Lama.  

• Функция имеет сигмовидную форму и работает хорошо во многих тестах.  

• В статье сравниваются различные функции активации, и Zwyglu показывает лучшие результаты.  

• Однако, почему именно эта функция работает так хорошо, остается неизвестным.  

• Исследователи часто проводят поиск по сетке для определения оптимальных параметров модели.  

• Это связано с тем, что невозможно заранее знать, какая функция активации будет работать лучше.