Глубинное обучение, 2018. ФКН ВШЭ. Лекция 9: Дифференцируемое программирование

• Лекция посвящена встраиванию алгоритмов в нейросети.  

• Рассматриваются три способа: структурный пулинг, итерационные алгоритмы и прямое дифференцирование по входу алгоритма.  

• Нейросети имеют сложную структуру, которая не всегда подходит для новых задач.  

• Для обучения нейросети нужна правильная архитектура, которую можно комбинировать с существующими методами.  

• Встраивание алгоритмов в нейросети помогает решать сложные задачи.  

• Пример задачи: распознавание последовательности рукописных символов.  

• Используются динамическое программирование и решение системы линейных уравнений.  

• Лекция не посвящена сложным алгоритмам, а фокусируется на базовых методах.  

• Структурный пулинг позволяет выбирать конкретные элементы из активаций.  

• Пулинг можно дифференцировать, что позволяет пропускать градиент.  

• Структурный пулинг использует комбинаторную оптимизацию для выбора элементов.  

• Структурный пулинг позволяет использовать сложные алгоритмы для выбора элементов.  

• Алгоритм запускается как черный ящик, и его результат используется для обучения.  

• Важно не сам алгоритм, а его результат, который можно дифференцировать.  

• Модель учитывает структуру данных.  

• Используется функция, оценивающая всю конфигурацию.  

• Модель состоит из унарных и парных потенциалов.  

• Унарные потенциалы оценивают качество метки для одного элемента.  

• Парные потенциалы учитывают сочетание соседних меток.  

• Модель является графической, но это не важно для текущего обсуждения.  

• Структура возникает при выборе метки для максимизации функции.  

• Максимизация всей функции, а не отдельных символов.  

• Задача обучения - настроить параметры нейросети для правильных конфигураций.  

• Максимизация функции с помощью алгоритма динамического программирования.  

• Динамическое программирование разбивает сложную задачу на простые под-задачи.  

• Под-задачи решаются последовательно, начиная с префиксов длины один.  

• Значение функции для префикса длины один совпадает с унарным потенциалом.  

• Рекуррентное вычисление для позиций с индексом больше одного.  

• Максимизация парного потенциала и унарного потенциала для следующей позиции.  

• Решение под-задач слева направо, начиная с самых коротких префиксов.  

• Постепенное удлинение префиксов для решения сложных задач.  

• Находим оптимальное значение функции в последней позиции.  

• Учитываем все слагаемые, если в последней позиции стоит метка.  

• Берем максимум по всем меткам для получения ответа.  

• Запоминаем позиции максимумов и возвращаемся назад.  

• Алгоритм динамического программирования используется для структурного пулинга.  

• Используем алгоритм структуры SVM и графические модели.  

• Оптимизация функции потерь по размеченной выборке.  

• Функция потерь включает максимизацию функции на разных конфигурациях.  

• Разница между функцией на правильной и неправильной разметке.  

• Используется для сравнения последовательностей.  

• Эффективное решение задачи максимизации.  

• Проход через нейросеть для вычисления потенциалов.  

• Вычисление функции потерь и максимизация функции.  

• Нахождение градиента по выходам нейросети.  

• Используется для чтения свободного текста и распознавания объектов.  

• Улучшение распознавания лиц и затылков на видео.  

• Тестирование изображений и присвоение меток.  

• Перевод вычислений алгоритма в слои нейросети.  

• Обучение методом обратного распространения ошибки.  

• Обучение по размеченной выборке методом максимального правдоподобия.  

• Потенцирование функции и нормирование для распределения.  

• Оптимизация логарифма правильной конфигурации.  

• Сумма по всем возможным конфигурациям.  

• Использование динамического программирования для эффективного суммирования.  

• Алгоритм практически не отличается от предыдущего динамического программирования.  

• Функция состоит из суммы потенциалов, которые являются произведениями унарных и парных факторов.  

• Используется алгоритм динамического программирования для эффективного вычисления суммы произведений.  

• Функция Белмана содержит сумму произведений всех факторов, индексы которых меньше текущего.  

• Алгоритм работает благодаря дистрибутивности сложения и умножения.  

• Проход вперед аналогичен предыдущему алгоритму, с заменой операций максимум на сумму и суммы на произведение.  

• Алгоритм состоит из простых операций: умножение, сложение и экспоненты.  

• Все операции дифференцируемы, что позволяет использовать его как слои нейросети.  

• Можно обучать модели методом максимального правдоподобия.  

• Алгоритм может быть применен для итерационных алгоритмов с различными критериями остановки.  

• Пример: вариационный вывод, где сложное распределение приближается простым.  

• Критерием приближения является дивергенция Кульбака-Лейблера.  

• Алгоритм используется в задачах сегментации изображений.  

• Применяются полновязанные модели и вариационный вывод.  

• Сверточные сети эффективно реализуют операции и обеспечивают хорошие результаты.  

• Модель сверточной сети хорошо работает, но не учитывает тонкие структуры.  

• Добавление структурной компоненты улучшает сегментацию, выделяя тонкие структуры.  

• Модель учитывает локальные связи между точками, что улучшает подавление шума.  

• Алгоритм рассматривается как функция с входом и выходом.  

• Для вычисления производной используется другой алгоритм дифференцирования.  

• Этот подход эффективен и не требует много памяти.  

• Рассматривается модель гауссовского случайного поля.  

• Задача предсказания состоит в поиске максимума квадратичной формы.  

• Алгоритм решения задачи максимизации аналитически находится приравниванием производной к нулю.  

• Входом задачи дифференцирования являются параметры а и б.  

• Выходом являются градиенты функции потерь по параметрам а и б.  

• Система линейных уравнений решается методами исключения или более сложными.  

• Использование явных формул для производных функции потерь.  

• Решение системы линейных уравнений на проходе вперед и назад.  

• Альтернатива - метод обратного распространения, но он неэффективен.  

• Алгоритм СВД разложения раскладывает матрицу на произведение трех матриц.  

• Входом является матрица икс, выходом - матрицы у, сигма и в.  

• Аналитически выводятся формулы производных функций потерь по входу.  

• В тендере есть слой СВД, который можно использовать.  

• Сложные операции, такие как СВД, можно вставлять в модели.  

• Это делает модели устойчивыми и эффективными.  

• Метод позволяет дифференцировать дискретные алгоритмы по входу.  

• Использует другой алгоритм для вычисления производных.  

• Эффективнее, чем прямое дифференцирование.  

• Устанавливает связь между дискретными и непрерывными функциями.  

• Оптимизирует одни функции через другие.  

• Встраивание алгоритмов в нейросети.  

• Использование дифференцируемых функций для программирования.  

• Три способа дифференцируемого программирования: структурный пуллинг, разворачивание итерации, прямое аналитическое дифференцирование.  

• Прямое аналитическое дифференцирование требует программирования и отладки.  

• В больших библиотеках уже есть готовые слои для дифференцирования.  

• Расширение библиотеки слоев и моделей.  

• Использование продвинутых наработок линейной алгебры и компьютерного обучения.  

• Встраивание знаний о задачах в нейросети для улучшения архитектур.  

• Пример задачи распознавания последовательности картинок.  

• Использование информации о частотных парах символов для улучшения обучения сети.  

• Благодарность за внимание к лекции.