Stanford CS229 I Машинное обучение I Построение больших языковых моделей (LLMS)

• LLMS — это большие языковые модели, включая ChatGPT, Cloud от Anthropic, Gemini и Laman.  

• Лекция посвящена краткому обзору компонентов, необходимых для обучения LLMS.  

• Подчёркивается важность вопросов от аудитории.  

• Архитектура нейронных сетей.  

• Потери при обучении и алгоритм обучения.  

• Данные для обучения.  

• Оценка прогресса модели.  

• Системный компонент для работы моделей на современном оборудовании.  

• Научные круги сосредоточены на архитектуре, алгоритмах обучения и потерях.  

• Промышленность уделяет больше внимания данным, оценке и системам.  

• Предварительная подготовка: обучение модели моделировать весь Интернет.  

• Посттренировочная подготовка: превращение моделей в помощников ИИ.  

• Примеры: GPT-3 и GPT-2 — предварительная подготовка, ChatGPT — посттренировочная.  

• Языковые модели распределяют вероятности по последовательностям лексем.  

• Пример: вероятность предложения «мышь съела сыр».  

• Модели учитывают синтаксические и семантические знания.  

• Генеративные модели генерируют предложения на основе распределения вероятностей.  

• Авторегрессионные модели предсказывают следующее слово на основе контекста.  

• Недостатки: медленная генерация длинных предложений.  

• Выделение слов, присвоение идентификаторов, прохождение через модель.  

• Получение распределения вероятности для следующего токена.  

• Детоксикация и выборка нового токена.  

• Векторное представление токенов через нейронную сеть.  

• Прохождение через линейный слой и софтмакс для получения распределения вероятностей.  

• Использование кросс-энтропийной потери для классификации следующего токена.  

• Максимизация вероятности появления текста через минимизацию потерь.  

• Токенизаторы важны для понимания работы больших языковых моделей.  

• Они решают проблемы с опечатками и языками без пробелов между словами.  

• Символы имеют более общее значение, чем слова.  

• Последовательное обозначение символов приводит к слишком длинной последовательности.  

• Сложность возрастает квадратично с длиной последовательности.  

• Токенизаторы присваивают общие подпоследовательности определённый токен.  

• Кодирование пар байтов — один из двух наиболее распространённых токенизаторов.  

• Обучение токенизатора начинается с большого объёма текста.  

• Символы связываются с знаками, а распространённые пары знаков объединяются в новые символы.  

• Пример с текстом «take talk» показывает, как токенизатор объединяет символы.  

• Токены становятся своими собственными токенами.  

• Предварительные токенизаторы обрабатывают пробелы и пунктуацию.  

• Оптимизация вычислений позволяет не объединять пробелы между собой.  

• Предварительные токенизаторы специфичны для английского языка.  

• Меньшие токены сохраняются для представления слов с ошибками.  

• Каждый токен имеет уникальный идентификатор.  

• При токенизации выбирается самый большой токен, который можно применить.  

• Существуют вычислительные преимущества для ускорения процессов токенизации.  

• Проблема одинаковой длины последовательности остаётся актуальной.  

• Возможно, в будущем появятся архитектуры, которые не масштабируются квадратично.  

• Токенизаторы могут быть заменены другими методами в будущем.  

• Цифры в математике не обозначаются символами, что мешает моделям воспринимать их как люди.  

• Специальная токенизация необходима для корректного восприятия чисел моделями.  

• GPT-4 изменил способ токенизации кода, улучшив его понимание моделями.  

• «Недоумение» — это потеря валидации, используемая для оценки LLM.  

• Среднее значение потери на токен увеличивается в геометрической прогрессии.  

• «Недоумение» не зависит от длины последовательности и находится между единицей и длиной словарного запаса токенизатора.  

• С 2017 по 2023 год «недоумение» увеличилось с 70 лексем до менее чем 10.  

• «Недоумение» больше не используется в академическом бенчмаркинге из-за зависимости от используемых маркеров.  

• Оно остаётся важным для разработки LMS.  

• Используются классические критерии NLP, такие как Helm и MMU.  

• Helm включает задания с ответами на вопросы, где известен правильный ответ.  

• MMU оценивает вероятность генерации реальных ответов.  

• Модель может генерировать распределение вероятностей ответов.  

• Можно ограничить модель подсказками или сравнением выходных данных.  

• Оценка открытых вопросов сложна и важна.  

• Токенизатор влияет на «недоумение», определяя количество потенциальных токенов.  

• Пример: ChatGPT использует токенизатор с 10 токенами, а Gemini — с 100.  

• Верхняя граница «недоумения» хуже для Gemini из-за большего количества токенов.  

• Разные компании используют разные способы оценки MMU, что приводит к различным результатам.  

• Подсказки и способы оценки моделей влияют на результаты.  

• Важно проверять, не был ли тестовый набор в обучающем наборе.  

• Проверка на заражение тестами важна для академического бенчмаркинга.  

• Лаборатория Tatsu предложила метод проверки, основанный на генерации примеров по порядку.  

• Если примеры генерируются по порядку чаще, чем в другом порядке, это указывает на возможное заражение тестами.  

• Интернет содержит много некачественного контента, который не отражает реальную информацию.  

• Для сбора данных используются веб-сканеры, которые посещают каждую веб-страницу в интернете или в Google.  

• На данный момент собрано около 250 000 000 000 страниц, что составляет около одного петабайта данных.  

• Стандартные поисковики, такие как Common Crawl, ежемесячно добавляют новые веб-сайты в большой набор данных.  

• Пример случайной веб-страницы показывает, что контент может быть сложным для восприятия.  

• Первый шаг — извлечение текста из HTML-файлов, что требует решения множества проблем, включая извлечение математических данных.  

• Фильтрация нежелательного контента, такого как PII и вредный контент, осуществляется с помощью чёрных списков веб-сайтов.  

• Удаление дубликатов элементов, например, верхних и нижних колонтитулов, и URL-адресов, которые показывают один и тот же веб-сайт.  

• Эвристическая фильтрация основана на правилах, таких как анализ распределения токенов и длины слов на веб-сайтах.  

• Удаление документов низкого качества на основе анализа необычных токенов и распределения слов.  

• Использование Википедии для фильтрации данных, так как ссылки на неё указывают на высококачественные веб-сайты.  

• Обучение классификатора предсказывать, откуда взят документ: из Википедии или из случайного интернета.  

• Классификация данных по различным областям: развлечения, книги, программный код и т. д.  

• Увеличение или уменьшение веса определённых доменов для улучшения навыков языкового моделирования.  

• Пример: увеличение веса кода помогает модели лучше рассуждать логически.  

• В конце обучения модель перестраивается на данных высокого качества, таких как Википедия.  

• Постоянная предварительная подготовка для получения более подробного контекста.  

• После всех этапов фильтрации объём данных может быть очень большим.  

• Для обработки данных требуется большая команда и много вычислений.  

• В команде из 70 человек около 15 работают с данными.  

• Необходимо исследовать способы сверхэффективной обработки данных.  

• Важно сбалансировать различные области данных.  

• Использование мультимодальных данных может улучшить производительность работы с текстом.  

• Компании скрывают методы сбора данных из-за конкуренции и проблем с авторскими правами.  

• Объём данных для обучения моделей увеличился с 150 миллиардов токенов до 15 триллионов токенов.  

• Академический эталон Pile использует данные из различных источников, включая Archive, PubMed Central, Wikipedia, Stack Overflow и GitHub.  

• Объём данных в 100–1000 раз больше, чем при обычном сканировании.  

• Llama 2 обучена на 2 триллионах токенов, а Llama 3 — на 15 триллионах токенов.  

• Лучшие академические модели обучаются на аналогичном объёме данных.  

• Чем больше данных и крупнее модель, тем выше производительность.  

• Переобучение не происходит с большими языковыми моделями, большие модели обеспечивают лучшую производительность.  

• Графики показывают линейное улучшение производительности при увеличении объёма данных и размера модели.  

• Увеличение количества вычислений и параметров модели предсказуемо снижает потери при тестировании.  

• Тенденции масштабирования сохраняются, эмпирических свидетельств плато нет.  

• Математически возможно продолжение снижения потерь без достижения плато.  

• Новый подход включает настройку гиперпараметров на меньших моделях разных размеров.  

• Закон масштабирования позволяет предсказать производительность больших моделей на основе меньших.  

• Сравнение трансформеров и LSTM показывает, что трансформеры лучше масштабируются.  

• Законы масштабирования помогают предсказать эффективность моделей при увеличении вычислительных ресурсов.  

• Законы масштабирования чувствительны к небольшим различиям в архитектуре моделей.  

• Необходимо подгонять кривые масштабирования под конкретную архитектуру модели.  

• Учёные часто предлагают новые активации, основываясь на законе масштабирования.  

• Различия в архитектуре моделей часто незначительны и не влияют на результаты.  

• Качество данных значительно влияет на потери при масштабировании.  

• Важно оптимально распределять ресурсы для обучения моделей.  

• Необходимо учитывать баланс между размером модели и количеством данных.  

• Метод «шиншилла» использует изофлопсы для сравнения моделей с одинаковым объёмом вычислений.  

• Кривые на графике показывают наилучшие варианты для каждой модели.  

• Можно рассчитать оптимальное количество параметров и токенов для обучения модели.  

• Закон масштабирования помогает предсказать размер модели в зависимости от доступных ресурсов.  

• Оптимальное количество токенов для каждого параметра — 20.  

• Учёт стоимости вывода модели влияет на выбор оптимального размера.  

• Обучение моделей обходится дорого, особенно с учётом стоимости вывода.  

• Оптимизация логического вывода требует отдельных исследований.  

• Системы и данные имеют большее значение, чем архитектура моделей.  

• Большинство исследований фокусируется на второстепенных аспектах.  

• Llama 3400B обучена на 15,6 токенах и имеет 405000000000 параметров.  

• Стоимость обучения модели оценивается в 75 миллионов долларов.  

• Обучение модели связано с выбросами углекислого газа, но пока они не имеют значительного значения.  

• С каждым новым поколением моделей количество провалов увеличивается.  

• С увеличением количества провалов модели становятся сложнее.  

• Необходимы значительные ресурсы для дальнейшего развития моделей.  

• Обсуждение важности вычислений и оптимизации процессов.  

• Цель посттренинга — создание ИИ-помощников, которые могут следовать инструкциям пользователей.  

• Пример с GPT-3: языковая модель не всегда даёт ожидаемые ответы.  

• В интернете часто нет возможности задать вопрос и получить ответ позже.  

• Настройка моделей должна учитывать пожелания пользователей и дизайнеров.  

• Модерация помогает избежать нежелательных ответов.  

• Данные для обучения моделей сложно и дорого собирать.  

• Идея: использовать предварительно обученную модель и изменить её весовые коэффициенты.  

• Тонкая настройка позволяет использовать мало данных.  

• SFT — это настройка языковой модели на желаемые ответы от людей.  

• Сбор данных через опросы людей.  

• Пример использования Open Assistant для сбора данных.  

• Проблема сбора данных от людей: медленно и дорого.  

• Использование LLM для генерации синтетических данных.  

• Пример с Alpaca: сбор 52 сгенерированных LLM ответов.  

• Увеличение объёма данных не всегда улучшает результаты SFT.  

• Модель оптимизируется для одного типа пользователей.  

• Знания уже есть в предварительно подготовленной модели.  

• Опасность генерации данных из одного и того же дистрибутива.  

• Необходимость изучения новых дистрибутивов.  

• Активное обучение с участием людей.  

• Предварительная подготовка использует нулевую скорость обучения.  

• Посттренинг повышает скорость обучения.  

• Различия в способах сбора данных.  

• Поведенческое клонирование ограничивает возможности модели человеческими способностями.  

• Люди не всегда создают лучшие варианты, даже если лучше различают вещи.  

• Контролируемая точная настройка может приводить к генерации ложной информации.  

• Модель не знает, является ли сгенерированный ответ правдивым.  

• Модель может генерировать правдоподобные ссылки, не зная их истинности.  

• Создание идеальных ответов обходится дорого.  

• Вместо клонирования поведения людей используется обратная связь от людей.  

• Модель генерирует два ответа, а разработчики выбирают лучший.  

• Алгоритмы точно настраивают модель для генерации более качественных ответов.  

• Два варианта вознаграждения: бинарная награда и модель вознаграждения.  

• Бинарная награда разрежена и не даёт полной информации о качестве ответов.  

• Модель вознаграждения — это классификатор, который определяет предпочтения людей.  

• Логиты softmax используются для оценки качества ответов.  

• Модель Брэдли-Терри требует всех входных и выходных данных для оценки.  

• Высокие логиты в softmax указывают на более предпочтительный ответ.  

• Модель вознаграждения тренируется на предпочтениях людей.  

• Логиты непрерывны, что позволяет более точно оценивать предпочтения.  

• Непрерывная информация предпочтительнее для обучения.  

• Обучение с подкреплением использует генерацию на основе большой языковой модели.  

• PPO — распространённый алгоритм обучения с подкреплением, который помогает избежать чрезмерной оптимизации.  

• Модели, оптимизированные с помощью PPO, не моделируют распределение, а генерируют наиболее вероятные ответы.  

• Это приводит к тому, что модели не всегда выдают все возможные результаты.  

• ChatGPT использует PPO в несколько этапов: обучение под наблюдением, разработка модели вознаграждения, выполнение PPO.  

• Обучение с подкреплением на практике сложно из-за множества проблем, таких как развёртывание, внешние циклы и отсечение.  

• DPO — упрощённая версия PPO, предложенная в Стэнфорде.  

• Вместо обучения с подкреплением DPO максимизирует вероятность генерации желаемого и минимизирует вероятность генерации нежелаемого.  

• Глобальные минимумы PPO и DPO при некоторых предположениях эквивалентны.  

• DPO проще в реализации и интуитивно понятен.  

• PPO позволяет использовать немаркированные данные для модели вознаграждения.  

• Команда ChatGPT, включая автора PPO Джорджа Холмана, имела опыт работы с обучением с подкреплением.  

• DPO проще и эффективнее PPO.  

• Стал стандартом в сообществе с открытым исходным кодом и промышленности.  

• Улучшает предварительно обученные модели через точную настройку под наблюдением.  

• Маркировка данных людьми сложна и требует много времени.  

• Люди часто обращают внимание на второстепенные характеристики, например, длину ответов.  

• Этика краудсорсинга вызывает вопросы из-за плохих условий работы аннотаторов.  

• LLM дешевле и точнее людей в маркировке данных.  

• Модели могут быть более предвзятыми, но менее жестокими.  

• Сочетание людей и LLM стало стандартом в сообществе.  

• Оценка моделей типа ChatGPT сложна из-за множества одинаково хороших ответов.  

• Потери при проверке несопоставимы из-за различий в методах обучения.  

• Автоматизация оценки сложна из-за разнообразия вопросов.  

• Chatbot Arena позволяет случайным пользователям оценивать модели.  

• Вопросы часто технические, что ограничивает применимость метода.  

• Высокая стоимость и скорость делают метод неподходящим для разработки.  

• LLM генерируют выходные данные на основе базовых линий и моделей.  

• Усреднение оценок LLM даёт оценку R для ранжирования моделей.  

• Высокая корреляция с Chatbot Arena, низкая стоимость и скорость.  

• Слабая корреляция с людьми из-за предвзятости LLM.  

• LLM предпочитают более длинные выходы, что может искажать оценку.  

• Оптимизация предвзятости может привести к нежелательным результатам.  

• При сравнении GPT-4 с самим собой R-показатель составляет 50%.  

• Если попросить GPT-4 быть более подробным, R-показатель увеличивается до 64,4%.  

• Если попросить быть кратким, R-показатель снижается до 20%.  

• Для контроля длины ответов используется регрессионный анализ и инструменты причинно-следственного вывода.  

• После тренировки настраиваются все веса модели.  

• В индустрии обычно настраиваются все веса, в отличие от подходов с открытым исходным кодом, например, Laura, которая меняет только некоторые веса.  

• Для точной настройки требуется больше данных, чем для предварительной подготовки.  

• Объём данных для RHFT может достигать 1 миллиона токенов, что значительно меньше 15 триллионов токенов для предварительной подготовки.  

• Высокая скорость обучения и продолжительное время могут привести к переобучению модели на одном предложении.  

• Предварительная тренировка служит для инициализации весов модели.  

• Тонкая настройка начинается после предварительной тренировки.  

• Инициализация весов не требует запоминания большого объёма данных, важно только наличие инициализации.  

• Количество повторений данных не имеет значения, важна эффективная скорость обучения.  

• Эффективная скорость обучения определяет успех точной настройки.  

• Графические процессоры дороги и редки, их количество ограничено.  

• Взаимодействие между несколькими графическими процессорами требует времени.  

• Важно оптимизировать распределение ресурсов и конвейер.  

• Графические процессоры оптимизированы для пропускной способности.  

• Потоковые мультипроцессоры выполняют команды на множестве ядер одновременно.  

• Матричное умножение выполняется в десять раз быстрее других операций.  

• Вычислительная мощность графических процессоров улучшается быстрее, чем память и коммуникация.  

• Без оптимизации кода графические процессоры часто простаивают.  

• Иерархия памяти: чем ближе к цели, тем меньше памяти, но быстрее выполнение.  

• Использование 16 бит вместо 32 бит для чисел с плавающей точкой ускоряет обмен данными.  

• Автоматическая смешанная точность: некоторые данные хранятся в 32 битах, другие — в 16 битах.  

• Веса модели хранятся в 32 битах, а вычисления выполняются в 16 битах.  

• Объединение операторов ускоряет вычисления, выполняя обмен данными только один раз.  

• Torch.compile переписывает код на C++, C и CUDA для оптимизации обмена данными.  

• Это увеличивает скорость модели примерно в два раза.  

• Важность распараллеливания и сочетания экспертов.  

• Обсуждение архитектуры, логических выводов и пользовательских интерфейсов.  

• Проблемы с данными и законностью сбора данных.  

• CS 224: исторический контекст фильмов.  

• CS 324: большие языковые модели.  

• CS 336: создание большой языковой модели с нуля.