Тренировки по ML 2.0 Лекция 6: Большие языковые модели

• Паша Тимирчев, разработчик программного обеспечения в команде Ламента, представляет тему выравнивания языковых моделей.  

• Лекция будет посвящена алайменту, его необходимости и методам.  

• Цель лекции - заинтересовать слушателей и побудить их к изучению более серьезной литературы по теме.  

• Алаймент помогает сделать предобученную языковую модель полезной для человека.  

• Большая языковая модель обучается на больших корпусах текстов, таких как интернет.  

• Предобученная модель продолжает тексты, как они были написаны, что делает её бесполезной для ассистента.  

• Предобученные модели не всегда этичны и правдивы, что делает их непригодными для ассистента.  

• Выровненная языковая модель должна отвечать на запросы пользователя этичным и полезным способом.  

• Алаймент превращает предобученную модель в ассистента, который отвечает на запросы пользователя.  

• Существует множество методов алаймента, ранжированных по сложности.  

• Самый простой метод - промт-инжиниринг, который будет кратко рассмотрен.  

• Также будут рассмотрены методы дообучения с учителем и обучения с подкреплением.  

• Промт-инжениринг использует предобученную большую языковую модель для генерации ответов на вопросы.  

• Пример: вопрос "Что такое теорема Пифагора?" вставляется в подводку, и модель продолжает текст, пытаясь дать ответ.  

• Можно использовать более сложные подводки для получения более качественных ответов.  

• Метод не требует выборки, разметки или обучения языковой модели.  

• Минусы: большие подводки требуют больше ресурсов для обработки, и сложно оценить качество ответов.  

• Промт-инжениринг больше искусство, чем наука, и плохо масштабируется.  

• Супервайзинг, или дообучение с учителем, улучшает качество ответов языковой модели.  

• Включает три шага: сбор возможных запросов пользователей, разметка ответов и обучение модели.  

• Важно следить за распределением тем в запросах и использовать асессоров для разметки ответов.  

• Асессоры размечают ответы на запросы, учитывая ценности, такие как честность и полезность.  

• Обучение модели происходит через градиентный спуск и минимизацию тропильной функции ошибки.  

• Можно проводить супервайзинг в несколько шагов для улучшения качества модели.  

• Пример: обучение модели на 10 терабайтах текстов, сбор 300 тысяч пар запрос-ответ от асессоров.  

• Фильтрация пар по качеству ответов, проведение второй стадии обучения на 30 тысячах пар.  

• Возможность использования частичного фантюнинга для уменьшения переобучения.  

• Частичный фантюнинг: дообучение только части весов модели.  

• Метод мягкой подводки: использование чисел для улучшения ответов модели.  

• Использование адаптеров для модификации весов нейронной сети.  

• Основная сложность: сбор и фильтрация большой выборки запросов.  

• Плюсы: возможность создания хорошего ассистента при правильном подборе гиперпараметров.  

• Минусы: необходимость полного дообучения модели, риск галлюцинаций.  

• Галлюцинации: модель отвечает на запросы, не входящие в выборку, с полной уверенностью.  

• Методы борьбы: избегание изменения знаний модели на шаге супервайт обучения.  

• Нет общего сборника крутых промтов, нужно подбирать под конкретную задачу.  

• Рекомендации: читать статьи на близкую тему, искать примеры промтов в публикациях.  

• Нейронные сети обучаются для обобщения, а не только для работы на обучающей выборке.  

• Проверка качества модели на валидации и отложенной выборке.  

• Обсуждение метрик качества языковых моделей.  

• Языковая модель должна быть честной, безопасной и полезной.  

• Это правило широко распространено и помогает сравнивать модели.  

• Асессоры могут сравнивать ответы моделей, используя инструкции.  

• Асессоры сравнивают ответы моделей на валидационной выборке.  

• Сравнивается процент побед одной модели над другой.  

• Метрики, такие как точность, не всегда подходят для языкового моделирования.  

• Асессоры могут ошибаться и уставать.  

• Для контроля качества используются "медовые бочонки" с заранее размеченными данными.  

• Эффект утенка и усталость асессоров могут влиять на результаты.  

• Асессоров можно заменить нейронной сетью для оценки ответов.  

• Нейронная сеть выдает число, характеризующее качество ответа.  

• Модель награды обучается на выборке запросов и ответов.  

• Нейронная сеть обучается на вероятностной модели Брэдли-Терри.  

• Вероятность определяется разницей между выходами нейронной сети для двух ответов.  

• Модель награды максимизирует вероятность, что ответ-победитель лучше, чем ответ-проигравший.  

• Модель награды обучена выдавать число для ответа, характеризующее его качество.  

• Ранняя остановка обучения позволяет отслеживать качество модели на валидационной выборке.  

• Модель, остановленная по награде, может быть лучше с точки зрения людей.  

• Модель награды помогает выбирать лучшие модели для сравнения.  

• Сравнение моделей с помощью модели награды может быть более эффективным, чем человеческий труд.  

• Рекомендуется использовать модель награды в сочетании с человеческим мнением для финального выбора.  

• Модель награды может использоваться для ранжирования ответов.  

• Генерируются несколько ответов для одного запроса, и выбирается лучший с помощью модели награды.  

• Метод имеет недостатки, связанные с численной неэффективностью и необходимостью оценки каждого ответа.  

• Обучение с подкреплением сравнивается с дрессировкой собак.  

• Модель обучается через похвалу за правильные действия, а не через прямое указание, как выполнять задачу.  

• Обучение с подкреплением требует предобучения с учителем для начальных этапов.  

• Обучение с подкреплением включает марковский процесс принятия решений, политики, агенты и градиентные спуски.  

• Агент взаимодействует с миром, отправляя действия и получая награды.  

• Политика агента определяет, как он выбирает действия на основе наблюдений.  

• Цель обучения с подкреплением - максимизировать суммарную награду за горизонт взаимодействия со средой.  

• Политика агента - это вероятностное распределение над действиями.  

• Задача - найти стратегию, которая максимизирует награду в среде.  

• В языковых моделях взаимодействие с пользователем моделируется одношагово.  

• Агент - языковая модель, которая получает запрос и генерирует ответ.  

• Пользователь оценивает ответ, и агент получает награду в зависимости от реакции.  

• Политика агента - это вероятность генерации ответа при условии запроса.  

• Задача - максимизировать награду за эпизод взаимодействия.  

• Вводятся случайности: запрос пользователя и ответ модели.  

• Рассматриваются два метода: кросс-энтропийный метод и другие.  

• Большие языковые модели требуют огромных вычислительных ресурсов.  

• Пользователи могут взаимодействовать с моделями через API или дообучать их на своих компьютерах.  

• Языковые модели генерируют вероятности для слов, что делает процесс генерации текста стохастическим.  

• Часто не детерминированность урезается для получения высококачественных ответов.  

• Метод эволюционной оптимизации произвольных функций.  

• Визуальное объяснение: двумерная функция с линиями уровня и оптимумом.  

• Использование генератора точек для нахождения максимума функции.  

• Генератор точек для получения множества точек.  

• Фильтрация точек для выбора элитных точек с наибольшим значением функции.  

• Метод максимального правдоподобия для перемещения точек к элитным.  

• Генерация точек, выбор максимальных точек, перемещение к ним.  

• Метод можно обобщать на обучение любых моделей методом обучения с подкреплением.  

• Пример с запросами и ответами для улучшения модели.  

• Метод дорогой вычислительно и не приводит к оптимальным языковым моделям.  

• Введение метода градиент по политике для улучшения обучения.  

• Метод максимизации средней награды.  

• Применение методов градиентного спуска и подъема для оптимизации.  

• Метод градиентного подъема для максимизации функций.  

• Продифференцируем левую часть выражения по параметрам тета.  

• Параметры тета включают веса языковой модели и другие параметры.  

• Изменение параметров в сторону производной улучшает модель.  

• Математические ожидания включают интегралы и вероятности.  

• Вероятность ответа на запрос умножается на вероятность ответа от модели.  

• Нейронная сеть выдает вероятности, которые можно считать.  

• Интегрирование вероятностей и наград по всем возможным запросам.  

• Производные можно подставить под интегралы.  

• Формула неприятная, но математически обоснованная.  

• Интегралы не являются математическими ожиданиями.  

• Градиент не является вероятностью.  

• Используется трюк с логарифмом производной для упрощения.  

• Переворачиваем дробь для производной логарифма.  

• Градиент логарифма вероятности умножается на награду.  

• Усреднение по выборке запросов и ответов.  

• Генерируем ответы на запросы и считаем градиент.  

• Усредняем градиенты по параметрам тета.  

• Используем оптимизатор для обучения языковой модели.  

• Генерация текстов на каждом шаге обучения медленная и дорогая.  

• Оценка градиента имеет высокую дисперсию.  

• Использование бейзлайна для стабилизации обучения.  

• Проксимальная оптимизация позволяет делать больше шагов после генерации.  

• Меньше вычислительных ресурсов и более высокое качество.  

• Отличия между обучением с учителем и подкреплением.  

• Проблема домененного сдвига при максимизации награды.  

• Нейронные сети не идеальны и могут вести в неправильные области текстов.  

• Вопросы и ответы по теме.  

• Закон Гудхарта утверждает, что метрика качества перестает быть хорошей, если ее целенаправленно максимизировать.  

• Пример: ВВП перестает быть хорошей метрикой, если государство стремится к его максимизации.  

• Модель награды в обучении с подкреплением также перестает быть хорошей при целенаправленной максимизации.  

• Модель награды обучается на подмножестве запросов, что делает ее эффективной только в этой области.  

• При удалении от обучающей выборки качество модели награды ухудшается.  

• Это приводит к проблеме доменного сдвига, когда модель награды не соответствует реальным данным.  

• Первый метод: штрафовать модель за отклонение от обучающей выборки.  

• Второй метод: обучать модель награды на данных, полученных от реальных людей.  

• Эти методы требуют значительных ресурсов и разметки данных, но могут значительно улучшить модель награды.  

• Лекция поверхностно знакомит с алайментом и его методами.  

• Цель лекции - мотивировать интерес к более глубокому изучению темы.  

• Вопросы можно задавать в комментариях или в текстовом формате.