Полная история GPT, блок 1.1: Предсказание — это сжатие | Котенков Игорь

• Приветствие и представление Игоря Котенкова.  

• Описание курса: история развития семейства GPT.  

• План курса: четыре модуля, первый модуль посвящен GPT-1.  

• Обучение трансформеров и ключевые идеи.  

• Различие между обучением с учителем и без учителя.  

• Трансформер как компрессор по аналогии с ZIP-архивом.  

• Трансформер разработан в 2017 году для машинного перевода.  

• Архитектура трансформера: энкодер и декодер.  

• Обучение с учителем: предсказание слов в переводе.  

• Необходимость большого количества данных для обучения.  

• Предсказание слов в переводе и распределение вероятностей.  

• Математическое обоснование обучения с учителем.  

• Отсутствие математического обоснования для обучения без учителя.  

• Преимущества обучения без учителя: отсутствие разметки данных.  

• Возможность обучения на больших объемах данных.  

• Любой предиктор можно превратить в компрессор.  

• Понятие арифметического кодирования.  

• Оптимизация энтропии в обучении языковых моделей.  

• Пример распределения вероятностей.  

• Оптимизация неопределенности в предсказаниях.  

• Демонстрация на примере двух распределений вероятностей.  

• В левой ситуации неопределенность выше, так как неясно, какой класс выпадет.  

• В правой ситуации модель более уверена, что выпадет второй класс, что снижает неопределенность.  

• Хорошая модель с высокой вероятностью угадывания уменьшает энтропию и является лучшим компрессором.  

• Компрессор должен использовать паттерны из одного датасета для сжатия другого.  

• Использование предсказательной модели для выявления паттернов снижает энтропию.  

• Объединение двух датасетов и их сжатие должны быть эффективнее, чем сжатие по отдельности.  

• Разделение датасета Вики 7 на два куска и их сжатие показали, что совместное сжатие эффективнее.  

• Чем больше датасет и лучше модель, тем больше разница в сжатии.  

• Доступные данные составляют лишь малую часть от всех возможных данных.  

• Обучение на доступных данных должно быть приближено к пониманию природы данных.  

• Модель должна обобщать знания на всю вселенную данных.  

• Программа, воспроизводящая данные, должна быть минимальной.  

• Нахождение паттернов в данных уменьшает размер архива.  

• Компрессия и моделирование языка тесно связаны.  

• Колмогоровская сложность указывает на лучший из возможных компрессоров.  

• Оценка колмогоровской сложности данных практически невозможна.  

• Нейросети обучаются сжимать данные, улучшая генерализацию и обобщающую способность.  

• Обучение моделей улучшает компрессию данных, что снижает энтропию.  

• Важно, чтобы модели находили паттерны, а не запоминали тренировочную выборку.  

• Компрессия данных связана с теорией машинного обучения и улучшает работу алгоритмов на новых данных.  

• Описание графика обучения модели LAMA.  

• Модель обучается на задаче предсказания следующего слова.  

• График показывает энтропию и функцию потерь обучения.  

• Интеграл по всей площади обучения модели.  

• Энтропия как мера неопределенности.  

• Эффективное кодирование энтропии.  

• Сжатие данных до 400 гигабайт.  

• Сравнение с конкурсом по сжатию Википедии.  

• Языковые модели показывают более эффективное сжатие.  

• Сравнение трансформеров с традиционными алгоритмами сжатия.  

• Трансформеры находят больше паттернов информации.  

• Пример с передачей данных между суперкомпьютерами.  

• Инициализация трансформера на одном суперкомпьютере.  

• Передача файла инициализации на другой сервер.  

• Обучение трансформера на локальном сервере.  

• Энтропия как мера неопределенности предсказаний.  

• Кодирование энтропии для передачи через канал.  

• Пример с идеальным предсказанием и низкой вероятностью.  

• Передача кодов через канал с низкой пропускной способностью.  

• Применение кодов для корректировки вероятностей.  

• Итеративное создание предсказаний и обучение модели.  

• Итеративное обучение модели на обоих серверах.  

• Падение энтропии и уменьшение требуемых бит для передачи.  

• Улучшение предсказаний по мере обучения модели.  

• Чем точнее модель предсказывает, тем меньше данных нужно передавать.  

• В начале передается много лишних бит, но это неэффективно.  

• Сжатие текста с помощью трансформера может уменьшить объем данных в 14 раз.  

• Передается только скрипт для инициализации модели, а не ее веса.  

• Обучение трансформера на двух суперкомпьютерах позволяет получать одинаковые вероятности.  

• Это позволяет передавать меньше данных, чем необходимо.  

• Компрессия с трансформерами требует больших вычислительных мощностей, что делает ее менее эффективной с точки зрения энергозатрат.  

• Языковые модели были предложены Шеноном в 1948 году для эффективной передачи данных.  

• Использование корректировочных кодов позволяет передавать только энтропию.  

• Компрессия без потерь позволяет передавать данные без искажений.  

• Обучение без учителя помогает выявлять полезные паттерны.  

• Чем лучше модель улавливает паттерны, тем эффективнее компрессия.  

• Качество компрессии можно улучшать за счет увеличения модели и улучшения архитектуры.  

• Важно, чтобы модель не переобучалась и хорошо обобщалась на новые данные.  

• Языковые модели могут эффективно описывать паттерны в данных, что делает их полезными для обучения и утилизации.