Графовые нейронные сети: теория и практика

• Приветствие участников.  

• Объявление о нерегулярной встрече по графовым нейронным сетям.  

• Представление Сергея, который проведет лекцию.  

• Сергей Иванов, защитил диссертацию в Сколтехе в 2019 году.  

• Работает в компании Kriteo, занимается рекомендационными системами и графами.  

• Живет в Париже, временно в Москве.  

• Ведет каналы в Telegram и Medium, посвященные графам и машинному обучению.  

• Лекция основана на материалах профессора Хавьера Бресса.  

• Графовые нейронные сети пересекаются с теорией графов и машинным обучением.  

• Примеры успешных применений: получение антибиотика, симуляция веществ, предсказание движения молекул.  

• В 2020 году был бум в области графовых нейронных сетей.  

• Много статей и воркшопов на топовых конференциях.  

• Графовые нейронные сети привлекают внимание специалистов из разных областей.  

• Сверточные нейронные сети CNN были разработаны в 2019 году.  

• Основное предположение CNN: данные состоят из взаимодействующих частей.  

• Примеры данных: картинки, видео, предложения, графы.  

• Графы — это многомерный тип данных, где каждый узел может иметь разное количество соседей.  

• Графы могут иметь фичи на узлах и ребрах.  

• Пример: молекулы с атомами и их свойствами.  

• Операция свертки: умножение пикселей на веса для получения новой размытой картинки.  

• Два определения свертки: через шаблон и через градиент.  

• Проблемы со звуком, попытка отключить камеру для улучшения качества.  

• Свертка определяется через тимплейт матч, где веса присваиваются каждому пикселю.  

• Умножение пикселя на соответствующий вес и суммирование результатов.  

• Пример: умножение пикселей на веса и получение новой преобразованной картинки.  

• В графах нет порядка, как в картинках, и количество соседей у узлов разное.  

• Невозможно определить фиксированные веса для свертки.  

• Решение: теорема свертки через преобразование Фурье.  

• Преобразование Фурье от свертки равно скалярному произведению преобразований Фурье каждого сигнала.  

• Определение свертки как обратного преобразования Фурье к скалярному произведению.  

• Популярный алгоритм Fast Fourier Transform для быстрого преобразования Фурье.  

• Определение преобразования Фурье на графах и его быстрое выполнение.  

• Использование нормализованного лапласиана для определения разницы между узлами.  

• Применение оператора лапласиана к вектору признаков для получения нового вектора.  

• Разложение векторов в нормированном базисе собственных векторов лапласиана.  

• Возможность разложения любого вектора в этом базисе.  

• Применение разложения для снижения размерности и представления векторов в новой системе координат.  

• Преобразование Фурье как умножение собственных значений на вектор.  

• Применение обратного преобразования Фурье для получения исходного вектора.  

• Инвертируемость преобразования Фурье и его применение для получения исходных данных.  

• Свертка на графах аналогична преобразованию Фурье.  

• Используется лопласиан для получения матриц фи и дельта.  

• Матрица весов омега обучается с помощью градиентного спуска.  

• Свертка на графах позволяет предсказывать классы узлов.  

• Используется градиентный спуск для обновления весов омега.  

• Матрицы фи и дельта фиксированы и не обновляются.  

• Разложение на собственные значения выполняется один раз.  

• Обновляются только параметры омега.  

• Включается информация о топологии графа в матрицы.  

• Спектральный граф обучает лапласиан.  

• Параметры омега зависят от фиксированной матрицы б.  

• Уменьшается количество параметров для каждого слоя.  

• Число узлов и ребер определяется стандартно.  

• Количество параметров для каждого слоя можно задать произвольно.  

• Матрица б фиксирована для всех слоев, что сокращает количество параметров.  

• Размерность скрытого слоя зависит от архитектуры сети.  

• Количество признаков может изменяться на разных слоях.  

• Апроксимация распределения собственных значений уменьшает количество параметров.  

• Обсуждение старых работ по спектральному GCN и нейронным сетям.  

• Предложение использовать полиномиальную сумму для аппроксимации матрицы.  

• Преобразование Фурье требует знания собственных значений лапласиана.  

• Полиномиальная аппроксимация позволяет эффективно свертывать данные.  

• Проблема нестабильности параметров при инициализации нейронной сети.  

• Введение полиномов Чебышева для решения проблемы нестабильности.  

• Тимплейт-матчинг позволяет свертывать данные на графе без фиксированного порядка узлов.  

• Идея использования одинаковых весов для всех соседей узла.  

• Пример работы Томаса и Макса Веллинга, популяризировавшей граф-нейронные сети.  

• Умножение имбедингов узлов для обмена сообщениями.  

• Модель называется передающим сообщением нейронной сетью.  

• Различные способы агрегирования сообщений, включая сумму, среднее и максимум.  

• Теоретические модели показывают, что свертки могут гарантировать хорошие результаты.  

• Пример с заморфированными графами, где модель может различать одинаковые и разные графы.  

• Введение анизотропии, где веса зависят от схожести узлов.  

• Использование весов соседей и признаков для агрегирования данных.  

• Применение моделей GNN для фитинга данных под целевые лейблы.  

• Возможность сборки архитектуры GNN из различных блоков.  

• Трансформеры и другие модели GNN, доступные в библиотеках.  

• Простота применения GNN на практике.  

• Вопросы о топологии и агрегации данных в графах.  

• Определение весов вершин и их агрегация.  

• Использование ребер для агрегации данных.  

• Добавление ребер для самосвязанности в графах.  

• Вопрос о включении информации о связанности элементов графа.  

• Использование имбедингов для оценки сходства узлов.  

• Нормализация и преобразование чисел для оценки связанности.  

• Возможность фиксации весов вершин и переменных весов ребер.  

• Обучение имбедингов для ребер и глобального графа.  

• Парадигма message passing и её развитие.  

• Важность углов между атомами в молекулах.  

• Использование пространственной характеристики молекул в GNN моделях.  

• Модели, генерирующие молекулы на основе векторов признаков.  

• Различие между моделями инкодерами и дженер-рейтерами.  

• Вопросы и ответы по теме.  

• GNN состоит из входного слоя, нескольких слоев GNN и выходного слоя.  

• Входной слой преобразует категориальные признаки в численные значения.  

• GNN агрегирует векторы признаков по каждому узлу и выдает новые вектора.  

• GNN используется для задач граф-классификации и предсказания классов узлов.  

• GNN может применяться для предсказания свойств молекул и улучшения энергии веществ.  

• GNN также используется в компьютерном зрении для предсказания пикселей и генерации объектов.  

• Основная сложность использования GNN — создание графа из данных.  

• После создания графа, GNN легко использовать, так как они уже имплементированы.  

• Можно комбинировать GNN с другими моделями, такими как градиентный бустинг.  

• GNN решает задачи предсказания новых антибиотиков и анализа данных ЕГЭ.  

• GNN используется для предсказания активности участков мозга и классификации графов.  

• Вектор признаков для всего графа может быть получен разными способами, включая инициализацию и обучение.  

• Объем выборки зависит от качества данных.  

• Шумные данные могут быть неразличимы, что затрудняет обучение.  

• Стандартные датасеты содержат сотни тысяч графов.  

• Примеры датасетов: 41 тысяча графов, 452 тысячи графов.  

• Количество графов зависит от потребностей задачи.  

• Шумные данные могут сделать обучение невозможным.  

• Подход к обучению графов часто перенимает результаты из NLP и Computer Vision.  

• Примеры: граф трансформеры, граф Берты.  

• Задача селсисинга и фантюнинга остается актуальной.  

• Телеграм-канал помогает не забывать важные материалы.  

• Новая книга "Геометрия дипленинг" от культовых экспертов.  

• Есть более простые книги и воркшопы для новичков.  

• Важность понимания, как составлять графы.  

• Примеры статей и исследований по этой теме.  

• Возможность защиты диссертации в этой области.  

• Обсуждение всех вопросов завершено.  

• Благодарность за участие и время.  

• Проблемы со звуком решены, все студенты подчеркнули что-то интересное.