Stanford CS229 I Машинное обучение I Построение больших языковых моделей (LLMS)

• LLMS - это большие языковые модели, такие как GPT, Cloud от Anthropic, Gemini и Laman.  

• Лекция будет посвящена созданию и работе LLMS.  

• Основные компоненты: архитектура, потери при обучении, алгоритм обучения, данные, оценка и система.  

• LLMS основаны на нейронных сетях и трансформаторах.  

• Важность архитектуры, потерь и алгоритмов обучения.  

• Оценка и система также играют ключевую роль.  

• Предварительная подготовка: обучение модели на всем Интернете.  

• Посттренировка: использование модели для создания помощников ИИ, как в ChatGPT.  

• Лекция будет сосредоточена на предварительной подготовке.  

• Языковые модели распределяют вероятности по последовательностям слов.  

• Пример: модель оценивает вероятность предложения "мышь съела сыр".  

• Модели учитывают синтаксические и семантические знания.  

• Генеративные модели генерируют предложения на основе модели распределения.  

• Авторегрессионные модели: прогнозируют следующее слово на основе предыдущих.  

• Недостатки авторегрессионных моделей: медленная генерация длинных предложений.  

• Модель предсказывает вероятность следующего токена.  

• Токенизация и векторное представление слов.  

• Использование кросс-энтропийной потери для обучения модели.  

• Токенизаторы важны для понимания их работы.  

• Они работают на более общем уровне, чем просто слова.  

• Слова не всегда подходят для языков без пробелов, таких как тайский.  

• Обозначение предложений символ за символом приводит к длинным последовательностям.  

• Токенизаторы решают эту проблему, присваивая токены общим подпоследовательностям.  

• Средний токен состоит из трех-четырех букв.  

• Кодирование пар байтов - один из распространенных алгоритмов.  

• Обучение токенизатора начинается с большого объема текста.  

• Символы объединяются в пары для создания новых токенов.  

• Пример с текстом "take talk" показывает процесс объединения символов.  

• Токенизатор обучается на больших корпусах текста.  

• Токены становятся уникальными идентификаторами для слов.  

• Предварительные токенизаторы обрабатывают пробелы и пунктуацию.  

• Это оптимизирует вычисления и улучшает эффективность.  

• Пробелы и знаки препинания не объединяются между собой.  

• Меньшие токены сохраняются для представления слов с ошибками.  

• Токены имеют уникальные идентификаторы.  

• Трансформатор ассоциирует токены с соответствующими значениями.  

• Токенизаторы выбирают самый большой токен для кодирования.  

• Существуют вычислительные хитрости для ускорения процесса.  

• В будущем возможно отказ от токенизаторов из-за новых архитектур.  

• Токенизаторы могут неправильно обрабатывать числа, что затрудняет обобщение математики.  

• GPT-4 изменил токенизацию кода, улучшив его понимание.  

• Токенизаторы имеют большое значение для работы моделей.  

• Оценка LLM часто проводится через "недоумение" perplexity.  

• Недоумение зависит от среднего значения потери на токен и увеличивается в геометрической прогрессии.  

• Недоумение не зависит от длины последовательности и измеряется между единицей и размером словарного запаса.  

• Недоумение улучшилось с 70 лексем до менее 10 за последние 5-6 лет.  

• Недоумение больше не используется в академическом бенчмаркинге, но важно для разработки LLM.  

• В академических кругах используются критерии, такие как Helm и MLM.  

• Helm оценивает модели по ответам на вопросы, а MLM - по выбору наиболее вероятного ответа из нескольких.  

• MMU оценивает модели по вероятности генерации правильных ответов на вопросы.  

• Модель может быть ограничена подсказками или распределением вероятностей выходных данных.  

• Разные компании используют разные способы оценки MMU, что приводит к разным результатам.  

• Важно проверять, обучались ли модели на бенчмарке, что особенно важно для академического бенчмаркинга.  

• Обучение больших языковых моделей часто проводится на данных из Интернета.  

• Важно понимать, что означает "весь Интернет" или "весь чистый Интернет".  

• Интернет содержит много нежелательного контента.  

• Для сбора данных используются веб-сканеры, которые посещают все веб-страницы в Интернете.  

• Common Crawl добавляет новые веб-сайты каждый месяц, создавая большой набор данных.  

• Первый шаг - извлечение текста из HTML-файлов.  

• Извлечение математических данных и удаление дубликатов.  

• Фильтрация нежелательного контента, включая PII и черный список веб-сайтов.  

• Удаление дубликатов, таких как верхние и нижние колонтитулы.  

• Эвристическая фильтрация для удаления документов низкого качества.  

• Использование правил для определения необычных токенов и распределения слов.  

• Фильтрация данных на основе модели, обучаемой на Википедии.  

• Классификация данных по различным областям и изменение веса доменов.  

• Увеличение веса кода и книг для улучшения логических рассуждений.  

• Тренировка на данных высокого качества в конце обучения.  

• Перестройка модели на основе данных Википедии и других источников.  

• Сбор данных - ключевая часть создания больших языковых моделей.  

• Объем данных после фильтрации и количество людей, работающих с ними.  

• В команде Llama около 70 человек, из которых 15 работают с данными.  

• Необходимость большого количества вычислений для обработки данных.  

• Мультимодальные данные могут улучшить производительность работы с текстом.  

• Компании не раскрывают, как собирают данные из-за конкуренции и авторских прав.  

• Академические модели обучаются на больших объемах данных, начиная с 150 миллиардов токенов.  

• 15 триллионов токенов составляют 83 гигабайта данных, что в 100-1000 раз больше обычного сканирования.  

• Академический эталон Pile включает данные из различных источников, таких как PubMed Central, Википедия и GitHub.  

• Модели с закрытым исходным кодом, такие как Llama, обучаются на значительно больших объемах данных.  

• Чем больше данных и крупнее модель, тем выше производительность.  

• Законы масштабирования позволяют прогнозировать улучшение производительности при увеличении данных и параметров.  

• Графики показывают линейное снижение потерь при увеличении вычислительных ресурсов и данных.  

• Новый подход к обучению моделей заключается в настройке гиперпараметров на меньших моделях и экстраполяции для больших моделей.  

• Пример с трансформерами и LSTM показывает, как законы масштабирования помогают выбрать лучшую модель для больших объемов данных.  

• Законы масштабирования полезны для предсказания производительности моделей при увеличении вычислительных ресурсов.  

• Учёные часто предлагают новые активации, чтобы показать их преимущества.  

• Различия в архитектуре могут быть незначительными и не влияют на результаты.  

• Качество данных значительно влияет на потери при масштабировании.  

• Важно определить, стоит ли тренировать модели большего размера или использовать больше данных.  

• Статья "шиншилла" показывает, как оптимизировать ресурсы для обучения.  

• Кривые изофлопсов показывают наилучшие варианты для разных объёмов вычислений.  

• Оптимальное количество токенов для каждого параметра составляет 20.  

• Стоимость вывода модели также важна, и лучшие модели используют 150 токенов на параметр.  

• Логический вывод требует значительных ресурсов и оптимизации.  

• Обучение моделей, таких как ChatGPT, очень дорого.  

• Оптимизация логического вывода требует отдельной лекции.  

• Законы масштабирования помогают ответить на множество вопросов о данных и архитектуре.  

• Чем больше вычислительных ресурсов, тем лучше модели.  

• Архитектура важна, но данные и системы играют ключевую роль.  

• Исследования часто фокусируются на второстепенных аспектах архитектуры.  

• Llama 3400B обучена на 15,6 токенах и имеет 405 миллиардов параметров.  

• Обучение заняло 16 часов 100 минут и использовало 30 миллионов часов работы графического процессора.  

• Стоимость обучения составила около 75 миллионов долларов, включая аренду оборудования и зарплату сотрудников.  

• Обучение моделей вызывает значительные выбросы углекислого газа.  

• В будущем, с увеличением размера моделей, экологические проблемы могут стать более значимыми.  

• С каждым новым поколением моделей количество провалов увеличивается в десять раз.  

• Обсуждение важности вычислений и оптимизации.  

• Цель посттренинга - создание искусственного интеллекта помощников.  

• Пример с GPT-3 и его ограничениями в ответах на сложные вопросы.  

• Настройка моделей для следования инструкциям пользователей.  

• Проблема сбора данных для обучения моделей.  

• Использование предварительно обученных моделей для тонкой настройки.  

• SFT - точная настройка большой языковой модели на желаемые ответы.  

• Сбор данных через опросы людей.  

• Пример использования SFT в ChatGPT.  

• Использование LLM для генерации данных.  

• Пример с моделью Alpaca.  

• Алгоритм как пошаговый набор инструкций для решения проблемы.  

• Небольшое количество данных достаточно для SFT.  

• Моделирование распределения пользователей в Интернете.  

• Оптимизация моделей для одного типа пользователей.  

• Проблема генерации данных из одного и того же дистрибутива.  

• Важность данных для SFT и других задач.  

• Использование активного обучения и сотрудничества с людьми.  

• Использование той же функции потерь для SFT и предварительной подготовки.  

• Различие в способах сбора данных.  

• Повышение скорости обучения в посттренинге.  

• Проблема SFT заключается в поведенческом клонировании, что ограничено человеческими способностями.  

• Люди не могут создавать то, что они хотят прочитать, даже если могут различать вещи.  

• Это приводит к ограниченности в создании идеальных ответов.  

• Галлюцинации могут возникать из-за контролируемой точной настройки на основе правильных данных.  

• Модель не узнает ничего нового, так как использует мало данных.  

• Пример с книгой "Монопсония" показывает, что модель может генерировать правдоподобные, но ложные ссылки.  

• Создание идеальных ответов обходится дорого, как и у людей.  

• Вместо клонирования поведения людей, используется обучение с подкреплением на основе человеческих предпочтений.  

• Модель генерирует два ответа и просит разработчиков выбрать лучший.  

• Обучение с подкреплением требует определения вознаграждения.  

• Первый вариант: сравнение выходных данных с базовой линией и использование бинарной награды.  

• Второй вариант: использование модели вознаграждения, которая является классификатором предпочтений.  

• Модель вознаграждения определяет, насколько один результат лучше другого.  

• Логиты softmax используются для оценки предпочтений.  

• Высокие логиты означают, что человек предпочитает этот ответ.  

• Непрерывная информация лучше для обучения.  

• Используется обучение с подкреплением и генерация на основе большой языковой модели.  

• PPO помогает избежать чрезмерной оптимизации и моделировать предпочтения человека.  

• PPO не максимизирует максимальное правдоподобие и не моделирует распределение.  

• Модели, прошедшие через PPO, не дают достоверных данных о смысле текста.  

• Оптимизация направлена на генерацию наиболее вероятного ответа, а не на моделирование всех возможных ответов.  

• ChatGPT использовал PPO для обучения модели.  

• Процесс включает обучение под наблюдением, разработку модели вознаграждения и выполнение PPO в несколько этапов.  

• PPO имеет множество проблем, таких как развертывание, внешние циклы и отсечение.  

• DPO упрощает PPO, максимизируя вероятность желаемого и минимизируя вероятность нежелаемого.  

• Потеря включает логарифм модели, максимизирующий вероятность желаемого и минимизирующий вероятность нежелаемого.  

• DPO требует меньше шагов и интуитивно понятен.  

• DPO и PPO имеют эквивалентные глобальные минимумы при некоторых предположениях.  

• DPO проще и интуитивно понятен, требует только максимального правдоподобия.  

• DPO может использовать только помеченные данные, в отличие от PPO, который может использовать немаркированные данные.  

• DPO проще и эффективнее PPO.  

• Используется в сообществе с открытым исходным кодом и промышленности.  

• Предварительно обученные модели улучшаются с развитием навыков.  

• Маркировка данных людьми сложна и медленна.  

• Люди часто обращают внимание на второстепенные аспекты, такие как длина текста.  

• Этические вопросы краудсорсинга также важны.  

• LLM могут заменить людей в маркировке данных.  

• Стоимость сбора данных с LLM значительно ниже, чем с людьми.  

• LLM лучше соответствуют предпочтениям людей, чем сами люди.  

• Оценка моделей, таких как ChatGPT, сложна из-за множества возможных ответов.  

• Использование потери проверки и perplexity невозможно.  

• Автоматизация оценки моделей затруднена.  

• Chatbot Arena позволяет пользователям оценивать ответы моделей.  

• Вопросы пользователей часто технические и ориентированы на технологии.  

• Высокая стоимость и скорость оценки с людьми.  

• LLM могут оценивать модели, генерируя выходные данные.  

• Высокая корреляция с Chatbot Arena и низкая стоимость.  

• Недостаток: предвзятость LLM в пользу длинных ответов.  

• Сравнение GPT-4 с самим собой показывает R-показатель 50%.  

• При просьбе быть более подробным R-показатель увеличивается до 64,4%.  

• При просьбе быть кратким R-показатель снижается до 20%.  

• Решение проблемы: использование регрессионного анализа для контроля длины ответов.  

• Настройка параметров с небольшим объемом данных для точной настройки.  

• Изменение всех весов модели, а не только некоторых.  

• В индустрии обычно настраивают все веса, в отличие от открытого исходного кода, где могут изменять только некоторые веса.  

• Для точной настройки требуется больше данных, чем для предварительной подготовки.  

• Объем данных для точной настройки значительно меньше, чем для предварительной подготовки.  

• Высокая скорость обучения и продолжительное время могут переучить модель на одном предложении.  

• Предварительная тренировка инициализирует модель, но не требует большого объема данных.  

• Важно, что модель была инициализирована, а затем обучена на точных данных.  

• Инициализация весов модели аналогична повторному обучению на точных данных.  

• Количество повторений данных точной настройки не имеет значения.  

• Важно найти эффективную скорость обучения для достижения наилучших результатов.  

• Графические процессоры дороги и редки, даже при наличии больших бюджетов.  

• Важно оптимизировать распределение ресурсов и конвейер.  

• Графические процессоры оптимизированы по пропускной способности, а процессоры - по задержке.  

• Графические процессоры имеют множество ядер, называемых потоковыми мультипроцессорами.  

• Они оптимизированы для быстрого матричного умножения.  

• Вычислительная мощность улучшается быстрее, чем память и коммуникация, что приводит к простоям.  

• Иерархия памяти: чем ближе к цели, тем меньше памяти, но быстрее выполнение.  

• Показатель использования провала модели: теоретический максимум, деленный на наблюдаемую пропускную способность.  

• Даже крупные компании, такие как Facebook, сталкиваются с проблемами в обмене данными.  

• Использование низкой точности для обмена данными ускоряет вычисления.  

• Автоматическая смешанная точность: некоторые данные хранятся в 32 битах, другие - в 16 битах.  

• Это позволяет выполнять вычисления быстро и обновлять значения в 32 битах для точности.  

• Объединение операторов ускоряет вычисления, выполняя обмен данными только один раз.  

• Распараллеливание и сочетание экспертов важны для оптимизации.  

• Обсуждение архитектуры, логических выводов и других аспектов LLM.  

• Курсы CS 224N, CS 324 и CS 336 предлагают углубленное изучение больших языковых моделей.  

• CS 336 позволяет создать свою собственную LLM с нуля.  

• Курсы имеют большую нагрузку, поэтому рекомендуется быть осторожным.