Машинное обучение 2021. Лекция 5. Векторные представления слов

• Видео обсуждает векторные представления слов, которые используются в обработке текстов с помощью нейронных сетей.  

• Векторное представление слова - это вещественный вектор в пространстве фиксированной размерности.  

• Векторные представления слов могут отражать многозначность слов, их схожесть и семантику.  

• В случае с ван-хо кодированием, все слова имеют одинаковые векторы, что не позволяет отражать многозначность.  

• Обучение без учителя заключается в определении внутренних взаимосвязей между объектами (словами) на основе коллекции неразмеченных текстов.  

• Дистрибутивная гипотеза предполагает, что слова, встречающиеся в похожих контекстах, имеют похожий смысл.  

• Ворд-век и континиус-век - методы построения векторных представлений на основе локальных и глобальных контекстов.  

• Ворд-век использует скользящее окно для построения обучающего корпуса и максимизации вероятности контекстных слов при центральном слове.  

• Континиус-век использует обратную задачу и максимизацию вероятности центрального слова при контекстных словах.  

• Иерархический софт макс - метод предсказания пути от корня дерева к контекстному слову.  

• Негатив сэмп - метод предсказания вероятности контекстного слова при центральном слове.  

• Техника негатив сэмплинг заключается в обучении классификатора на парах слов, а не на контекстных словах.  

• Отрицательные примеры генерируются случайным образом из корпуса.  

• Матрица совместной встречаемости строится из корпуса текстов, где для каждого слова учитываются контекстные слова.  

• Проблема: размерность вектора равна размерности словаря, и он разрежен.  

• Матрица совместной встречаемости раскладывается на произведение трех матриц, сохраняя наибольшее количество информации.  

• Разложение матрицы может быть медленным для словарей с большим количеством слов.  

• Метод углов работает с матрицей совместной встречаемости, сохраняя информацию о частотах слов в контексте.  

• В видео обсуждается метод, который сравнивает слова по их встречаемости в разных контекстах, а не только по их совместной встречаемости.  

• Этот метод использует отношение условных вероятностей, чтобы определить, насколько слова близки друг к другу.  

• Авторы статьи предлагают функцию ф, которая зависит от трех параметров и показывает отношения условных вероятностей.  

• Функция ф должна быть гомоморфизмом групп сложения и умножения, а также экспонентой.  

• В видео обсуждается проблема редких слов, которые встречаются в корпусе редко и для которых сложно построить хороший вектор.  

• Один из подходов к решению этой проблемы - использование специального служебного слова, которое заменяет все редкие слова в обучающем корпусе.  

• В видео описывается модель векторного представления слов, которая представляет каждое слово как мультимножество его символьных инграмм.  

• Символьные инграммы выбираются из слова, и их количество может быть различным.  

• Функция оценки заменяет скалярное произведение векторов центрального контекста слова и контекстного слова, добавляя сумму скалярных произведений векторов символьных инграмм центрального слова на контекстное слово.  

• В случае, если слово не найдено в словаре, его векторное представление будет нулевым, но за счет инграмм из этого нового слова, вектор будет не нулевым.  

• В FastText используются энграммы размером от двух до пяти, что делает модель тяжелой.  

• Собирается словарь символов, каждому символу ставится в соответствие вектор.  

• Слово рассматривается как последовательность символов, каждый символ заменяется на вектор символа.  

• Применяются свертки с фильтрами и ядрами, после чего проводится макс-пуллинг для получения вектора слова.  

• Метод используется как вспомогательный, обычно конкатенируется с другими векторами.  

• Цвета в примере означают разные числа, которые являются компонентами вектора.  

• Векторы для всех символов одинаковые, так как это один и тот же вектор, который повторяется несколько раз.  

• Идея заключается в том, что чем темнее квадратик, тем больше число стоит внутри вектора.