Лекция 5: Трансформеры. Часть первая. Межфакультетский курс для всех студентов МГУ

• Пятая лекция посвящена трансформерам.  

• Обсуждение предыдущих лекций о последовательностях и рекуррентных нейронных сетях.  

• Введение в задачу машинного перевода.  

• Трансформеры названы в честь одноименного фильма.  

• Использование рекуррентных нейронных сетей для обработки последовательностей.  

• Пример задачи машинного перевода.  

• Пример фразы "внимание к деталям" и её перевод.  

• Использование рекуррентной сети для вычисления состояний.  

• Передача состояний в следующую модель для восстановления перевода.  

• Энкодер кодирует последовательность в вектор.  

• Декодер разворачивает вектор в текст.  

• Передача последнего состояния в декодер для восстановления перевода.  

• Введение модуля внимания для учета контекста.  

• Перевзвешивание скрытых состояний для перевода.  

• Статья 2017 года, положившая начало буму трансформеров.  

• Использование дополнительной нейросети для предсказания важности слов.  

• Пример с переводом с английского на французский.  

• Механизм учета контекста для перевода каждого слова.  

• Обучение нейросети для предсказания весов.  

• Использование линейных слоев и функций активации.  

• Архитектура трансформеров: энкодер, декодер, блоки и их компоненты.  

• Идея трансформеров появилась в 2017 году.  

• Много обновлений и гайдов по трансформерам.  

• Обещание более глубокого изучения трансформеров на следующих лекциях.  

• Трансформеры работают с текстом и используются для машинного перевода.  

• После 2017 года весь машинный перевод стал нейросетевым.  

• Яндекс улучшил свой переводчик после выхода статьи о трансформерах.  

• Раньше переводчики работали плохо, но сейчас они улавливают контекст.  

• Обсуждение использования трансформеров в поиске.  

• Пример запроса "холодное сердце" и необходимость оценки контекста и похожести.  

• Идея получения векторного представления запросов и сравнения их похожести.  

• Использование инкодера для получения векторного представления.  

• Цель - определить, какой запрос наиболее соответствует материалу в интернете.  

• Использование скользящего окна для предсказания слов.  

• Обучение модели предсказывать наиболее вероятное слово в контексте.  

• Подход "self-supervised learning" без явной разметки.  

• Самообучаемые модели позволяют обучать модели без разметки.  

• Пример демонстрации предсказаний слов в большом корпусе текстов.  

• Возможность получения векторного представления слов, которых нет в словаре.  

• BERT расшифровывается как "action representation from transformers".  

• BERT обучен на огромном корпусе текстов и выдает векторное представление слов.  

• Возможность использования BERT для предсказания эмоциональных окрасок текстов.  

• Пример использования BERT для классификации текста.  

• Демонстрация изменения оценки текста в зависимости от контекста.  

• Возможность встраивания BERT в свои проекты при наличии навыков программирования.  

• Нейросети могут отвечать на вопросы по тексту, учитывая контекст.  

• Используются токены вместо слов для улучшения работы с разными языками.  

• Токены представляют собой части слов, что решает проблемы с разными словарями.  

• Трансформеры могут работать с изображениями, разделяя их на патчи.  

• Патчи передаются в нейросеть для классификации.  

• Трансформеры на изображениях работают лучше сверточных сетей в некоторых задачах.  

• Использование аугментаций для создания множества объектов данных.  

• Нейросеть учится предсказывать, одинаковые ли патчи на картинке.  

• Это позволяет обучать нейросеть без разметки, создавая свою разметку.  

• Нейросеть может сегментировать объекты, но это сложно использовать на практике.  

• Примеры показывают, что нейросеть улавливает конкретные объекты.  

• На практике сложно использовать сегментацию, так как нейросеть выбирает, что сегментировать.  

• Использование сверточных нейронных сетей для обработки аудио.  

• Векторное представление аудио используется для предсказания.  

• Это позволяет делать машинный перевод и решать задачи классификации.  

• Примеры использования BERT и самообучающихся нейросетей.  

• Обнаружение вулканической активности и классификация жанров.  

• Дообучение на большом количестве данных для улучшения результатов.  

• Дообучение улучшает веса нейросети, делая их более подходящими для задачи.  

• Это экономит ресурсы и силы при обучении на размеченных данных.  

• Подходы с самообучающимися нейросетями используются в различных областях.