SMILES-2024 Мария Тихонова, мини-курс по нейросетевым трансформерным моделям, часть 3

• Автор начинает лекцию, предупреждая о возможном опоздании друга.  

• Упоминается, что все еще спят в воскресенье в 10 утра, в то время как автор и его друзья учатся.  

• Автор обсуждает, как современные языковые модели разбивают текст на более мелкие под-слова, а не на слова.  

• Рассматриваются минусы классического подхода к разбиению текста по словам, включая много слов форм, толкинов и отсутствие возможности ограничить размер словаря.  

• Обсуждается проблема добавления новых слов в словарь и построения мультиязычных моделей.  

• Обсуждение различных методов токенизации текста, включая разбиение на буквы, подслова и другие варианты.  

• Упоминается алгоритм Берта, который разбивает текст на подслова, выбирая наиболее часто встречающиеся пары.  

• Рассматриваются различные алгоритмы токенизации, включая Берт, Стенпис и другие.  

• Обсуждается, как эти алгоритмы работают и как они выбирают подслова для эффективного кодирования текста.  

• Упоминается, что в современных моделях чаще всего используется токенизация на подслова, чтобы эффективно закодировать текст.  

• Редкие слова разбиваются на более мелкие подслова, а частые слова кодируются одним толкином.  

• В видео обсуждается, как языковые модели оцениваются с помощью различных метрик, включая лог-лайти, кросс-энтропию и перплексию.  

• Перплексия используется для оценки уверенности модели в тексте, и чем меньше перплексия, тем больше уверенность.  

• В видео обсуждаются генеративные модели, основанные на трансформерных декодерах, которые могут генерировать текст.  

• Для оценки качества генеративных моделей используются те же метрики, что и для языковых моделей.  

• Перплексия используется для оценки качества текста, и чем меньше перплексия, тем лучше текст.  

• Перплексия может быть использована для оценки качества текста, если модель уверена в нем.  

• В лекции обсуждается задача языкового моделирования и его применение в генеративных моделях на основе трансформера.  

• Архитектура декодерного блока трансформера позволяет моделировать тексты, похожие на те, которые она видела при обучении.  

• В лекции обсуждаются генеративные модели на основе декодерного блока трансформера, которые обучаются на большом количестве текстов и могут решать задачи без дополнительного обучения.  

• Модель обучается на обучающем корпусе объемом 570 гигабайт, что является большим количеством данных.  

• В лекции обсуждаются примеры и примеры, которые используются для обучения генеративных моделей.  

• Примеры помогают модели понять формат задачи и улучшить качество генерации.  

• Однако, выбор примеров может влиять на результаты и качество генерации.  

• В видео обсуждается генерация текста с помощью языковой модели GPT-3.  

• Модель использует лос и перплексию для оценки вероятности каждого из лейблов задачи классификации.  

• Для каждого возможного лейбла формулируется свой пром, который бы был естественен для текста с этим лейблом.  

• Затем модель сравнивает вероятности каждого из лейблов и выбирает тот, который соответствует минимальной перплексии.  

• Выбор примеров и промтов может существенно повлиять на результат генерации текста.  

• Добавление смайликов в промты может улучшить результат генерации.  

• GPT-3 и другие модели продолжают развиваться в сторону инструктивных моделей, которые хорошо принимают намерения пользователя.  

• Мультиязычные модели, такие как MGPT, также доступны в открытом доступе.  

• Обучение мультиязычных моделей происходит путем подачи текстов на разных языках, но без смешивания слов.  

• В чат-ботах, таких как ChatGPT, модель владеет темой и языком, на котором происходит общение, и продолжает отвечать на естественном языке.  

• В настоящее время числа не фильтруются при сборе данных или обучении, чтобы с ними было удобнее работать.  

• Для GPT-3 был подход "бери больше", но сейчас стали думать о качестве текстов.  

• Для больших языковых моделей может быть фильтрация по мату или некорректным тематикам.  

• Модели хорошо дообучаются и можно дообучить их на большом корпусе данных из инструкций.  

• Авторы статьи обучили модель на инструкциях для разных задач и получили существенный прирост качества.  

• Модель не понимает наши намерения и задача языкового моделирования не согласована с тем, что мы хотим от моделей.  

• Обучение на инструкциях - первый шаг к тому, чтобы модель понимала наши намерения и лучше реагировала на наши запросы.  

• Авторы обучают модель на инструкциях, используя корпус с реальными задачами, которые пользователи могут попросить у чат-бота.  

• Модель обучается на небольшом корпусе, но это реальные задачи, которые пользователь может попросить у чат-бота.  

• Авторы обучают модель-судью, которая оценивает и предсказывает человеческую оценку.  

• Модель дообучается, используя оценки людей, чтобы генерировать более качественные ответы.  

• Дообучение модели с помощью реворд-модели позволяет существенно повысить качество ответов модели.  

• Это привело к еще одной революции в области NLP, когда модели стали способны чутко реагировать на инструкции и общаться с пользователями.  

• Обсуждение использования различных ресурсов для обучения языковых моделей, включая Хаген Фейс.  

• Вопрос о том, как использовать рель на конечном этапе обучения.  

• Обсуждение проблемы утечки данных в тестовых данных и как с ней бороться.  

• Использование бенчмарков для оценки качества работы моделей.  

• Обсуждение использования людей для оценки качества моделей на разных этапах обучения.  

• Вопрос о том, как использовать людей для оценки качества моделей на третьем этапе обучения.