Лекция. BERT и его вариации. Masked Language Modelling

• Обсуждение массированного языкового моделирования MLM.  

• План видео: MLM, BERT, Roberta и DistilBERT.  

• MLM предсказывает любой токен в предложении, а не только последний.  

• Пример предложения "вчера мы посмотрели отличный фильм в кинотеатре".  

• Маскировка двух слов и предсказание их на основе контекста.  

• Объяснение, как MLM обобщает обычное языковое моделирование.  

• BERT использует трансформеры для решения задач MLM.  

• BERT решает задачу бинарной классификации для понимания связи между предложениями.  

• Стратегия маскировки токенов: 80% заменяются на маски, 10% на случайные токены, 10% остаются исходными.  

• BERT имеет три типа эмбеддингов: семантические, позиционные и сегментационные.  

• Использование обучаемых позиционных эмбеддингов.  

• Обучение BERT в двух форматах: BERT-Base и BERT-Large.  

• Использование данных из DTC Book Corpus и английской Википедии.  

• Максимальная длина последовательности 512 токенов.  

• Применение BERT для различных задач, включая классификацию и именованные сущности.  

• Сравнение BERT Base и BERT Large.  

• BERT Base работает лучше на всех задачах.  

• Использование двухстороннего контекста в BERT.  

• Roberta и DistilBERT как улучшения BERT.  

• Roberta использует динамическое маскирование и обучение без NSP.  

• DistilBERT фокусируется на улучшении качества предсказаний.  

• Увеличение данных для обучения: 8000 примеров против 256 у оригинального Берта.  

• Использование байт-токенизации для улучшения качества.  

• Применение байт-токенизации позволяет избежать юнк-токенизации.  

• Сравнение качества моделей на датасетах GLUE.  

• Улучшение качества на 1-2% по сравнению с Бертом.  

• Для датасета Кола улучшение на 8%.  

• Решение проблемы эффективности моделей.  

• Использование дистилляции для уменьшения размера и ускорения моделей.  

• Дистилберт на 40% меньше по памяти и на 60% быстрее, достигая 97% качества.  

• Модель учителя и модель студента.  

• Обучение модели студента предсказывать распределение, а не конкретный класс.  

• Приближение распределения данных для улучшения качества.  

• Использование половины слоев Берта и инициализация их весами Берта.  

• Обучение модели предсказывать распределение и приближать скрытое представление.  

• Достижение 97% качества от исходной модели Берта.  

• Введение в массу модули и их связь с языковым моделированием.  

• Преимущества двустороннего контекста перед односторонним.  

• Важность подхода к тренировке моделей, а не только архитектуры.  

• Применение дистилляции для уменьшения размера и ускорения моделей.