Stanford CS229 I Машинное обучение I Построение больших языковых моделей (LLMS)

• LLM - это большие языковые модели, такие как GPT от OpenAI, Cloud от Anthropic, Gemini и Laman.  

• Лекция будет кратким обзором, охватывающим ключевые компоненты обучения LLM.  

• Вопросы можно задавать в процессе лекции.  

• Архитектура нейронных сетей.  

• Потери при обучении и алгоритм обучения.  

• Оценка и системный компонент.  

• LLM основаны на трансформаторах.  

• Предварительная подготовка: обучение языковой модели моделировать весь Интернет.  

• Посттренировочная подготовка: использование LLM для создания помощников ИИ.  

• Примеры: GPT-3 и GPT-2 для предварительной подготовки, ChatGPT для посттренировочной подготовки.  

• Языковые модели распределяют вероятности по последовательностям лексем.  

• Пример: вероятность появления предложения "мышь съела сыр" в Интернете.  

• Модели должны учитывать синтаксические и семантические знания.  

• Генеративные модели генерируют предложения или данные.  

• Авторегрессивные языковые модели: предсказание следующего слова на основе контекста.  

• Недостатки авторегрессивных моделей: медленная генерация длинных предложений.  

• Векторное представление каждого слова или токена.  

• Пропуск через нейронную сеть, например, трансформатор.  

• Получение распределения вероятности для следующего слова.  

• Потери сводятся к задаче классификации следующего токена.  

• Использование кросс-энтропийной потери для максимизации вероятности генерации правильного текста.  

• Минимизация потерь эквивалентна максимизации вероятности появления текста.  

• Токенизаторы важны для понимания работы моделей.  

• Они работают на более высоком уровне, чем просто слова.  

• Проблемы с опечатками и языками без пробелов требуют более общего подхода.  

• Обозначение каждого символа приводит к длинным последовательностям.  

• Токенизаторы решают эту проблему, присваивая общие подпоследовательности токенам.  

• Токены обычно состоят из трех-четырех букв.  

• Кодирование пар байтов - один из распространенных методов токенизации.  

• Обучение токенизатора начинается с большого объема текста.  

• Символы объединяются в пары для создания новых токенов.  

• Пример токенизации текста с использованием GPT-3.  

• Токены становятся своими собственными токенами.  

• Вопросы о пробелах и пунктуации решаются на этапе предварительного токенизатора.  

• Предварительные токенизаторы оптимизируют вычисления.  

• Пробелы и знаки препинания получают свои собственные символы.  

• Объединение токенов происходит только при наличии свободного места.  

• Меньшие токены сохраняются для представления слов с ошибками.  

• Каждый токен имеет уникальный идентификатор.  

• Модель обучается ассоциировать токены с соответствующими значениями.  

• Токенизаторы выбирают самый большой токен для применения.  

• Существуют вычислительные хитрости для ускорения процесса.  

• В будущем возможно отказ от токенизаторов в пользу символьного обозначения.  

• Токенизаторы важны для понимания моделей, особенно в математике.  

• GPT-4 изменил способ токенизации кода, что улучшило его понимание.  

• Токенизаторы играют ключевую роль в оценке LLM.  

• Оценка LLM обычно проводится через "недоумение".  

• Недоумение измеряет потерю валидации и зависит от размера словарного запаса.  

• Недоумение улучшилось с 70 лексем до менее 10 за последние 5-6 лет.  

• В академических кругах используются критерии, такие как Helm и OpenAI.  

• Оценка включает анализ ответов на вопросы и сравнение вероятностей.  

• Примеры включают вопросы по медицине, физике и астрономии.  

• Разные компании и организации используют разные методы оценки.  

• Это приводит к разным результатам для одной и той же модели.  

• Важно проверять, не обучались ли модели на данных, которые использовались для тестирования.  

• Обучение больших языковых моделей часто проводится на данных из Интернета.  

• Важно понимать, что именно подразумевается под "всем чистым Интернетом".  

• Интернет содержит много нежелательного контента.  

• Для обучения моделей используются веб-сканеры, которые загружают все веб-страницы.  

• Общий объем данных составляет около 250 миллиардов страниц.  

• Данные проходят через веб-сканеры, такие как Common Crawl.  

• Извлекается текст из HTML-файлов, что требует сложных процессов.  

• Фильтрация нежелательного контента и дубликатов.  

• Удаление дубликатов и низкокачественного контента.  

• Фильтрация на основе правил, таких как необычные токены и распределение слов.  

• Удаление контента, который может разжигать ненависть.  

• Использование Википедии для фильтрации высококачественных веб-сайтов.  

• Обучение модели машинного обучения для предсказания происхождения данных.  

• Классификация данных по различным доменам и увеличение веса определенных областей.  

• Тренировка модели на данных высокого качества в конце обучения.  

• Перестройка модели на основе данных Википедии и других высококачественных источников.  

• Важность сбора данных и их обработки для обучения больших языковых моделей.  

• Объем данных после фильтрации и всех этапов обработки.  

• Необходимость большого количества людей и вычислительных ресурсов для работы с данными.  

• Исследования по сверхэффективной обработке данных и генерации синтетических данных.  

• Использование мультимодальных данных вместо текстовых улучшает производительность.  

• Компании не раскрывают, как собирают данные, из-за ответственности за авторские права.  

• Объем данных для обучения моделей значительно увеличился с 15000000000 токенов до 15 триллионов токенов.  

• Академические модели обучаются на данных из различных источников, включая PubMed Central, Wikipedia, GitHub и книги.  

• Lamma 2 была обучена на 2 триллионах токенов, а Lamma 3 - на 15 триллионах токенов.  

• Законы масштабирования показывают, что увеличение данных и параметров улучшает производительность моделей.  

• Законы масштабирования позволяют предсказать улучшение производительности при увеличении данных и параметров.  

• Увеличение вычислительных ресурсов и данных приводит к снижению потерь при тестировании.  

• Эти законы помогают компаниям выбирать оптимальные модели для обучения.  

• Новый подход заключается в настройке гиперпараметров на меньших моделях, а затем экстраполяции на большие модели.  

• Это позволяет компаниям предсказывать, какие модели будут работать лучше при увеличении вычислительных ресурсов.  

• Пример сравнения трансформеров и LSTM показывает, как законы масштабирования помогают выбрать оптимальную модель.  

• Законы масштабирования чувствительны к небольшим различиям в архитектуре моделей.  

• Компании должны подгонять свои кривые для каждой конкретной архитектуры, чтобы использовать законы масштабирования.  

• Потери при масштабировании важны для понимания архитектуры моделей.  

• Использование хороших данных снижает потери при масштабировании.  

• Важно оптимально распределять ресурсы для обучения моделей.  

• Вопрос: тренировать модели большего размера или использовать больше данных?  

• Статья "шиншилла" показывает, как оптимизировать ресурсы для обучения.  

• Изофлопсы помогают выбрать наилучший вариант для каждой кривой.  

• Оптимальное количество параметров для обучения: 20 токенов на каждый параметр.  

• Важно учитывать стоимость вывода моделей.  

• Современные модели используют 150 токенов на каждый параметр для оптимизации.  

• Обучение моделей очень дорогое, особенно для больших моделей.  

• Логический вывод можно оптимизировать, но это отдельная тема.  

• Законы масштабирования помогают ответить на многие вопросы о моделях.  

• Чем больше вычислительных ресурсов, тем лучше модели.  

• Архитектура и данные важнее, чем небольшие различия в архитектуре.  

• Исследования часто фокусируются на менее значимых аспектах.  

• Lama 3400B обучена на 15,6 токенах и имеет 40500000000 параметров.  

• Оптимальные токены для каждого параметра составляют около 40.  

• Обучение модели заняло 16 часов 100 минут и 26 миллионов часов работы графического процессора.  

• Обучение модели обошлось в 75 миллионов долларов.  

• Выбросы углекислого газа составили около 4,4 тонны эквивалента CO2.  

• С каждым новым поколением моделей количество провалов увеличивается в десять раз.  

• Важность вычислений и их оптимизация.  

• Посттренинг необходим для создания помощников с искусственным интеллектом.  

• Языковое моделирование не всегда подходит для задач, требующих точных ответов.  

• Посттренинг помогает моделям следовать инструкциям пользователей и дизайнеров.  

• Данные для обучения моделей должны быть точными и доступными.  

• Использование предварительно обученных моделей для тонкой настройки.  

• SFT позволяет моделировать язык на основе реальных ответов.  

• Сбор данных от людей для точной настройки моделей.  

• Пример использования Open Assistant для сбора данных.  

• Использование LMS для масштабирования сбора данных.  

• Пример с компанией Alpaca и генерацией ответов на вопросы.  

• Применение LMS для создания синтетических данных.  

• Алгоритм как пошаговый набор инструкций.  

• Использование LMS для ускорения разработки моделей.  

• Масштабирование данных не всегда улучшает результаты.  

• Проблемы с генерацией данных из одного дистрибутива.  

• Важность использования людей для улучшения моделей.  

• Активное обучение и сотрудничество с людьми.  

• Посттренинг использует те же функции потерь, что и предварительная подготовка.  

• Различия в способах сбора данных для посттренинга.  

• Важность различных типов упражнений для точной настройки моделей.  

• Проблема поведенческого клонирования в SFT.  

• Ограничения человеческих способностей в создании контента.  

• Возможность генерации ложной информации из-за контролируемой точной настройки.  

• Галлюцинации как результат контролируемой точной настройки.  

• Пример с книгой "Монопсония" и генерацией правдоподобных ссылок.  

• Высокая стоимость создания идеальных ответов.  

• Генерация двух ответов на каждую инструкцию.  

• Использование SFT для генерации хороших ответов.  

• Алгоритмы для точной настройки модели.  

• Два варианта вознаграждения: сравнение с базовой линией и использование модели вознаграждения.  

• Проблема бинарной награды и использование модели вознаграждения для определения предпочтений.  

• Модель вознаграждения как классификатор для определения качества ответов.  

• Модель вознаграждения как логит softmax.  

• Высокие логиты указывают на предпочтение человека.  

• Тренировка модели вознаграждения для соответствия предпочтениям людей.  

• Непрерывная информация лучше для обучения.  

• Использование обучения с подкреплением для генерации на основе большой языковой модели.  

• PPO помогает избежать чрезмерной оптимизации и моделировать предпочтения человека.  

• PPO не моделирует распределение, а генерирует наиболее вероятный ответ.  

• Модели, прошедшие через PPO, не дают достоверных данных о смысле текста.  

• PPO оптимизирует модель для генерации наиболее вероятного ответа, а не для моделирования распределения.  

• ChatGPT использует PPO для обучения модели.  

• Обучение с подкреплением на практике сложнее, чем теоретически.  

• PPO сталкивается с проблемами, такими как развертывание и внешние циклы.  

• DPO упрощает PPO, максимизируя вероятность желаемого и минимизируя вероятность нежелательного.  

• DPO использует логарифм модели для оценки вероятности генерации желаемого.  

• DPO эквивалентен PPO при определенных предположениях.  

• DPO проще и интуитивно понятен.  

• Использование модели вознаграждения для DPO требует только помеченных данных.  

• PPO позволяет использовать немаркированные данные для модели вознаграждения.  

• DPO позволяет использовать немаркированные данные для улучшения модели.  

• Многие эксперты по обучению с подкреплением использовали PPO.  

• DPO может быть более эффективным и интуитивно понятным.  

• DPO проще и эффективнее, чем PPO, и стал стандартом в сообществе с открытым исходным кодом и промышленности.  

• DPO улучшает предварительно обученные модели, улучшая их производительность.  

• Использование DPO с обратной связью от человека может улучшить модели до уровня, превосходящего человеческие.  

• Маркировка данных людьми сложна и требует много времени и ресурсов.  

• Люди часто фокусируются на второстепенных аспектах, таких как длина текста, что приводит к оптимизации высокоуровневых функций.  

• Использование LLM для маркировки данных дешевле и эффективнее, чем использование людей.  

• Использование LLM для маркировки данных решает проблемы этики и стоимости.  

• LLM дешевле и точнее, чем люди, для маркировки данных.  

• LLM могут быть более предвзятыми, но менее жестокими, что делает их стандартом в сообществе с открытым исходным кодом.  

• Оценка моделей, таких как ChatGPT, сложна из-за отсутствия единого правильного ответа.  

• Использование потерь проверки и perplexity для оценки моделей неэффективно.  

• Вопросы, задаваемые моделям, разнообразны, что делает автоматизацию оценки сложной.  

• Chatbot Arena позволяет случайным пользователям оценивать ответы моделей.  

• Вопросы на Chatbot Arena часто касаются технических аспектов, что ограничивает их применимость.  

• Использование LLM для генерации ответов и их оценки может быть более эффективным и дешевым.  

• Использование LLM для оценки моделей имеет высокую корреляцию с Chatbot Arena.  

• LLM предпочитают более длинные ответы, что может быть предвзятым.  

• Использование LLM для оценки моделей требует осторожности, чтобы избежать предвзятости.  

• Сравнение GPT-4 с самим собой показывает 50% точность.  

• При просьбе быть более подробным, точность составляет 64,4%.  

• При просьбе быть кратким, точность снижается до 20%.  

• Решение проблемы - использование регрессионного анализа для контроля длины.  

• Изменение всех весов модели для точной настройки.  

• В индустрии меняют все веса, в open-source - только некоторые.  

• Для точной настройки требуется больше данных, чем для предварительной подготовки.  

• Объем данных для точной настройки невелик по сравнению с предварительной подготовкой.  

• Предварительная подготовка - это инициализация модели, а не обучение.  

• Важно помнить, что предварительная подготовка - это инициализация весов, а не обучение модели.  

• В индустрии процесс повторяется несколько раз.  

• Количество повторений не имеет значения, важна эффективная скорость обучения.  

• Важно понимать, что предварительная подготовка - это инициализация модели, а не обучение.  

• Графические процессоры оптимизированы по пропускной способности, а не по задержке.  

• Они выполняют команды на множестве ядер одновременно, что делает их высокопроизводительными.  

• Графические процессоры ограничены в выполнении задач, не связанных с матричным умножением.  

• Графические процессоры часто простаивают из-за проблем с памятью и коммуникацией.  

• Иерархия памяти: чем ближе к цели, тем меньше памяти, но быстрее выполнение.  

• Использование провала модели: теоретический максимум, который может выполнить графический процессор, делится на наблюдаемую пропускную способность.  

• Использование низкой точности для значений с плавающей точкой ускоряет обмен данными.  

• В глубоком обучении используется автоматическая смешанная точность: некоторые данные хранятся в 32 битах, другие в 16 битах.  

• Объединение операторов в PyTorch ускоряет вычисления, выполняя все операции сразу.  

• Укладка плитки и распараллеливание важны для оптимизации.  

• Обсуждение архитектуры, логических выводов и пользовательских интерфейсов.  

• Рекомендации по курсам: CS 224, CS 324 и CS 336 для углубленного изучения больших языковых моделей.