Кафедра ММП | Лекция 2 по курсу "Математические методы обработки текстов" | осень 2024

• Зачет по курсу будет оцениваться по домашним заданиям.  

• Введены проекты от Яндекса, которые можно использовать для портфолио.  

• Домашние задания будут доступны на выходных.  

• Тема графовых моделей важна для понимания механизма работы моделей.  

• Использование сайта PapersWithCode для анализа датасетов и статей.  

• Пример датасета AR-52 для классификации новостей.  

• Графовые модели показывают хорошие результаты на датасетах.  

• Берта и другие графовые методы занимают лидирующие позиции.  

• Графовые методы предлагают необычный и интересный подход.  

• Слова со схожим смыслом имеют схожие вектора.  

• Графы позволяют строить взаимосвязи между объектами, будь то слова, документы или картинки.  

• Графы помогают определить, какие объекты имеют сильные связи и схожие имбединги.  

• Из графа можно получить две матрицы: имбединги и матрицу смежности.  

• Матрица смежности показывает, сколько раз объекты связаны друг с другом.  

• Разные модели работают с разными объектами и оценивают связи по-разному.  

• Объекты отправляют сообщения своим соседям, чтобы определить общие признаки.  

• Разные модели используют разные типы свертки и эволюции.  

• Пример: статья, где используется модель Берта для улучшения результатов.  

• Архитектура включает слои, умножение на матрицу смежности и функцию активации.  

• Матрица смежности строится на основе графа с взвешенными связями.  

• Важно учитывать взаимосвязи между тренировочными и тестовыми объектами.  

• Матрица смежности содержит единицы, если объекты связаны, и нули иначе.  

• Расширенная матрица смежности добавляет связи между объектами и их собственными узлами.  

• Это помогает определить шумовые объекты, которые связаны со многими другими.  

• Для каждой вершины считаем степень, суммируя веса ребер, исходящих из этой вершины.  

• Строим диагональную матрицу, где на главной диагонали находятся степени вершин.  

• Получаем симметричную нормализованную матрицу смежности, деля веса на степени вершин.  

• Умножаем расширенную матрицу смежности на матрицу степеней.  

• Делим веса на степени вершин, чтобы учесть количество соседей.  

• Получаем симметричную матрицу, где веса ребер между объектами зависят от их степеней.  

• Умножаем промежуточные бединги на симметричную нормализованную матрицу смежности.  

• Бединг объекта равен сумме бедингов его соседей с учетом весов.  

• Это напоминает механизм, используемый в тензоре, где бединг объекта равен сумме значений всех объектов, влияющих на него.  

• Умножаем бединги на матрицу смежности, затем на весовую матрицу и функцию активации.  

• Входной слой использует признаки объектов, которые усредняются для соседей.  

• В конце используется функция потерь для предсказаний и обновления весов.  

• Для тренировочных объектов считаем значение функции потерь через кросс-энтропию.  

• Обновляем веса через бэкпропагейшн для улучшения предсказаний.  

• Матрица весов одинакова для всего графа и данных.  

• Усредняем бединги на каждом слое, используя информацию о соседях.  

• Несколько слоев позволяют постепенно усреднять информацию.  

• Если объекты не соединены, требуется несколько слоев для усреднения.  

• В тензоре веса усредняются динамически, в данном случае веса фиксированы.  

• В тензоре модель обучается находить веса, в данном случае веса фиксированы.  

• Это эвристика для усреднения, где веса не рассчитываются, а берутся из внешней информации.  

• Три друга Яо, Мао и Лу решили использовать статью для текстов.  

• Они решили не использовать признаки, а использовать единичную матрицу.  

• В итоге получилась простая архитектура с единичной матрицей на первом слое.  

• Они предложили использовать два слоя и софтмакс.  

• Решили строить граф, где вершинами будут документы и слова.  

• Документы будут связаны со словами, которые в них встречаются.  

• Используют взаимную информацию для нахождения слов, несущих информацию.  

• Режут документы на окошки по три слова и считают вероятность их совместного вхождения.  

• Взаимная информация помогает найти пары слов с высокой вероятностью совместного вхождения.  

• Взаимная информация учитывает, что встреча одного слова в окошке не обязательно означает встречу другого слова.  

• Пример с крокодилом и Москвой показывает, что взаимная информация может быть и отрицательной.  

• Взаимная информация помогает определить, что два объекта не являются независимыми.  

• Начинают собирать расширенную матрицу смежности.  

• Графы состоят из вершин для документов и слов.  

• Между словами создается ребро с весом взаимной информации.  

• Для документов и слов создаются петельки, но не для документов между собой.  

• Веса создаются на основе тефа идеев.  

• Документы классифицируются через слова.  

• Матрица смежности создается для графа, что делает вычисления сложными.  

• Модель с двумя слоями показала хорошие результаты.  

• Использование большего количества слоев не улучшило качество.  

• Два слоя оптимальны для передачи информации между документами и словами.  

• При большом количестве слоев информация замыливается.  

• Два слоя позволяют передавать информацию между документами и словами.  

• Три слоя и более приводят к смешению информации.  

• В конце для каждого объекта получается вектор с вероятностями принадлежности к классам.  

• Количество классов задается последним слоем.  

• Матрица икс скрыта, и результаты передаются в виде вектора.  

• Для каждого объекта на каждом слое строятся эмбединги.  

• В конце строится вероятность принадлежности объекта к классу.  

• При изменении данных или новых объектах требуется перестройка модели.  

• Использование дополнительной информации из графа.  

• Симметричная и нормализованная матрица смежности важна для работы модели.  

• Плотно соединенные объекты получают похожие эмбединги.  

• Замыленность на большом количестве слоев.  

• Необходимость знания классов для некоторых вершин.  

• Обучение модели требует валидационного множества.  

• Отказ от функции активации и использование перемножения матриц.  

• Архитектура с большим количеством слоев и одной обучаемой матрицей.  

• Применение механизма от теншина к графу.  

• Использование Берта для генерации предварительных признаков.  

• Матрица признаков состоит из эмбедингов документов и нулей для слов.  

• Объединение предсказаний от графовой модели и модели на ванильных эмбедингах.  

• Вторая модель помогает избежать замыливания информации.  

• Объединение предсказаний позволяет влиять на эмбединги Берта.  

• Использование обеих моделей на этапе бэкпрогейшна для улучшения классификации.  

• Модели обучаются по ходу дела, обновляются их параметры.  

• Возможны проблемы с градиентом, но качество моделей улучшилось.  

• Используется метод генерации мини-бачей для обновления моделей.  

• В каждой эпохе обновляются параметры только документов из текущего мини-бача.  

• Используются только документы, попавшие в текущий мини-бач.  

• Обновляются только те документы, которые актуальны для текущей модели.  

• Можно использовать различные модели, такие как BERT и Roberta.  

• Метод позволяет использовать новые слова и документы без перестройки графа.  

• Новые документы и слова добавляются в матрицу смежности.  

• Матрица смежности строится для каждого мини-бача.  

• Новые документы и слова добавляются на основе их эбдингов.  

• Матрица содержит нолики для невстреченных слов и эбдинги для встреченных.  

• Введена дополнительная функция потерь для проверки уникальности эбдингов.  

• Цель - сделать эбдинги документов уникальными.  

• Качество модели улучшилось до 98.6%.  

• Вопрос о размере матрицы мини-бача.  

• Матрица включает все известные токены и количество документов в баче.  

• Модель обучается на таких матрицах с самого начала.