01L – Градиентный спуск и алгоритм обратного распространения

• Глубокое обучение использует парадигму обучения с учителем.  

• Машина обучается на примерах пар «вход-выход».  

• Пример: распознавание изображений автомобилей и самолётов.  

• Используется для распознавания речи, изображений, лиц, генерации подписей, перевода.  

• На обучение с учителем приходится 95% современных применений машинного обучения.  

• Упоминаются две другие парадигмы: обучение с подкреплением и самообучение.  

• Необработанный сигнал преобразуется в представление с помощью извлекателя признаков.  

• Представление подаётся на вход обучаемому классификатору.  

• Глубокое обучение заменяет ручной процесс создания извлекателя признаков стеком обучаемых модулей.  

• Стек обучаемых модулей преобразует входные данные в более высокий уровень абстракции.  

• Система обучается целиком от начала до конца.  

• Алгоритм обратного распространения ошибки — основа глубокого обучения.  

• Параметризованная модель — это функция g от x и w, где w — набор параметров.  

• Входы и выходы модели являются многомерными массивами тензорами.  

• Параметры w настраиваются во время обучения.  

• Функция затрат вычисляет меру несоответствия между желаемым выходом и выходом модели.  

• Пример: линейная регрессия, где вычисляется квадрат разности между y и y^.  

• Обучение заключается в минимизации функции затрат, усреднённой по обучающему набору.  

• Наблюдаемые переменные обозначены сероватыми кружками.  

• Детерминированные функции — фигурами со скруглёнными углами.  

• Функции затрат — красными квадратами.  

• Общая функция потерь вычисляется как среднее значение функции потерь для одного примера по всему обучающему набору.  

• Задача оптимизации — найти минимум функции потерь по параметрам.  

• Градиентный алгоритм предполагает, что функция гладкая и дифференцируемая.  

• Стахастический градиентный спуск: изменение параметров модели на основе одного примера.  

• Процедура: вычисление целевой функции для одного примера, определение изменений параметров, переход к следующему примеру.  

• Градиентный спуск обновляет значение параметра, вычитая градиент целевой функции, умноженный на размер шага.  

• Градиент — это вектор, показывающий, насколько увеличится функция потерь при небольшом изменении параметра.  

• Для каждой компоненты вектора параметров градиент определяет производную по направлению.  

• Компонент градиента вычисляется как отношение изменения функции потерь к изменению параметра.  

• Полный градиент функции потерь по всем весам представляет собой вектор, каждая компонента которого соответствует одному из весов.  

• Обозначение градиента как dl/dW отражает факт небольшого изменения параметра.  

• Вектор градиента указывает в направлении наибольшего подъёма или самого крутого склона.  

• На двумерной поверхности градиент представляет собой стрелку, указывающую на направление наибольшего уклона.  

• В минимуме градиент равен нулю.  

• Градиентные алгоритмы аналогичны спуску в горах: определение локального уклона и движение в противоположном направлении.  

• При выпуклом ландшафте алгоритм сходится к минимуму.  

• В простейших случаях размер шага — положительная константа, иногда уменьшаемая в процессе работы.  

• В более сложных вариантах размер шага может быть матрицей, положительно определённой или положительно полуопределённой.  

• Траектория градиентного спуска не всегда прямая, следуя уклону.  

• Стахастический градиентный спуск вычисляет градиент для каждого примера отдельно, а не для всего набора данных.  

• Оценка градиента на основе одного примера является зашумлённой оценкой полного градиента.  

• Метод более эффективен благодаря использованию избыточности между примерами.  

• Мини-батчи позволяют распараллелить вычисления на параллельном оборудовании, таком как GPU.  

• Размер батча варьируется от 30 до нескольких тысяч примеров.  

• Вычисление среднего градиента по батчу улучшает эффективность алгоритма.  

• Целевая функция должна быть непрерывной и дифференцируемой почти везде.  

• Нейросети часто не являются дифференцируемыми, но непрерывными.  

• В точках излома используются субградиенты как обобщение понятия производной.  

• В большинстве систем глубокого обучения функция оптимизации является невыпуклой.  

• Минимизация невыпуклых функций ранее вызывала сомнения из-за отсутствия строгих доказательств.  

• Несмотря на теоретические ограничения, невыпуклые функции работают на практике.  

• В сообществе машинного обучения дебаты о оптимизации невыпуклых функций длились 20 лет.  

• Классический градиентный спуск часто застревает в локальных минимумах, в то время как стохастический градиентный спуск SGD реже попадает в них из-за шумовой компоненты.  

• В многомерных пространствах локальных минимумов меньше, что позволяет успешно оптимизировать невыпуклые функции.  

• В одномерном пространстве градиентный спуск застревает в локальном минимуме.  

• Добавление второго параметра позволяет обойти локальный минимум и достичь глобального.  

• В пространствах высокой размерности проблема локальных минимумов менее актуальна.  

• Современные системы глубокого обучения имеют триллионы параметров.  

• Гиперпараметризация позволяет сетям идеально выучить обучающий набор, но возникает вопрос о их производительности на валидационном и тестовом наборах данных.  

• В системах глубокого обучения существует множество седловых точек.  

• Стохастический градиент помогает избегать седловых точек.  

• Специальные методы для избегания седловых точек не оказались серьёзной проблемой на практике.  

• Базовый подход: перемешивание примеров в случайном порядке и выбор по одному.  

• Альтернатива: использование генератора случайных чисел для выбора примеров.  

• Полезно составлять батчи из максимально непохожих примеров.  

• Аугментация искажает образцы, например, изображения, чтобы получить больше примеров.  

• Преобразования могут быть случайными или предварительно вычисленными.  

• Размер батча определяется аппаратным обеспечением: для GPU обычно от 16 до 64 примеров.  

• Увеличение размера батча ускоряет вычисления, но замедляет сходимость модели.  

• Для задач классификации размер батча не должен значительно превышать число категорий, чтобы не тратить вычислительные ресурсы впустую.  

• Нейронная сеть — это модель, состоящая из линейных и нелинейных операционных блоков.  

• Каждый вход умножается на свой вес, и взвешенная сумма вычисляется в юните или нейроне.  

• Термин «нейрон» упрощённо описывает модель, вдохновлённую биологическими нейронами.  

• В первом слое три юнита, который называется скрытым.  

• Взвешенные суммы пропускаются через нелинейную функцию ReLU, которая равна аргументу, если он положителен, и нулю, если отрицателен.  

• Функция ReLU имеет различные названия в разных областях.  

• Полносвязная сеть соединяет каждый юнит в одном слое с каждым юнитом в следующем.  

• Алгоритм обучения настраивает веса сети.  

• Главный трюк глубокого обучения — вычисление градиентов для весов.  

• Взвешенная сумма для юнита с номером i — это сумма произведений выходов вышестоящих юнитов на соответствующие веса.  

• Функция активации применяется к взвешенной сумме.  

• Граф соединений должен быть ациклическим, чтобы можно было выстроить последовательность слоёв.  

• Алгоритм обратного распространения ошибки вычисляет градиент функции затрат по отношению к переменным внутри нейронной сети.  

• Переменные могут быть переменными состояния или параметрами модели.  

• Интуитивное объяснение алгоритма основано на изменении значения функции затрат при изменении переменной.  

• Цепное правило объясняет, как вычислять производную функции, являющейся композицией двух других функций.  

• Для вычисления градиента по переменной s используется формула: dc/ds = dc/dz * dz/ds.  

• Это позволяет распространять градиент назад, умножая на производные функций в обратном порядке.  

• Изменение переменной z влияет на функцию затрат через взвешенные суммы на следующем слое.  

• Возмущение переменной z приводит к возмущению взвешенных сумм на величину, равную произведению dz на соответствующие веса.  

• Общее влияние на функцию затрат рассчитывается путём суммирования эффектов от возмущения каждой из переменных.  

• Градиент функции затрат по z вычисляется как сумма произведений частных производных функции затрат по взвешенным суммам на соответствующие веса.  

• Это позволяет учесть все возможные возмущения из-за изменения переменной z.  

• Операция представлена графически с использованием величин dC/ds0, dC/ds1 и dC/ds2.  

• Вычисление dC/z через умножение dC/ds0 на w0, dC/ds1 на w1 и dC/ds2 на w2.  

• Объяснение принципа обратного распространения: использование тех же весов в обратном направлении.  

• Алгоритм обратного распространения ошибки для классических нейронных сетей прост в реализации.  

• Необходимы две функции: для прямого прохода и для обратного прохода.  

• Функция прямого прохода вычисляет взвешенные суммы и применяет нелинейность.  

• Функция обратного прохода вычисляет взвешенные суммы в обратном направлении, умножая результат на производную нелинейности.  

• Каждое состояние сети представлено вектором.  

• Линейная операция — это умножение вектора на матрицу весов.  

• Размерности вектора и матрицы должны совпадать.  

• Возмущение величины c0 умножается на частную производную функции затрат по c0.  

• Общее возмущение функции затрат равно сумме возмущений по всем переменным.  

• Алгебраические операции с возмущениями позволяют вычислять dC/z.  

• Изменение z на dz приводит к изменению c0 на ds0 = dw0 * dz.  

• Подстановка выражения для ds0 в формулу для dC/z даёт dC/z = dw0 * dC/ds0 + dw1 * dC/ds1 + ...  

• Разделение на dz позволяет избавиться от dz в уравнении.  

• Простая нейросеть описывается линейными блоками, которые умножают предыдущее состояние на матрицу.  

• Результат умножается на другую матрицу и проходит через нелинейность, например, ReLU.  

• Процесс повторяется для получения следующего состояния сети.  

• Состояние z1 умножается на матрицу W1, образуя вектор взвешенных сумм s2.  

• Вектор s2 проходит через нелинейные функции, образуя z2.  

• Архитектура включает два скрытых слоя и три слоя весов.  

• Такой подход упрощает понимание алгоритма обратного распространения ошибки и соответствует современным фреймворкам для глубокого обучения, таким как PyTorch.  

• В PyTorch используются предопределённые классы, например, Linear для умножения вектора на матрицу.  

• Пример программы на Python: создание изображения и нейросети с количеством входов, равным общему числу элементов в изображении.  

• Определение класса для нейронной сети с помощью подкласса NModule.  

• Конструктор принимает размеры внутренних слоёв и инициализирует три линейных модуля.  

• Атрибуты объекта: m0, m1, m2, каждый из которых является экземпляром класса Linear.  

• Классы с заглавной буквы содержат внутренние параметры, весовые матрицы.  

• Функция forward выравнивает входные данные и применяет модули в определённом порядке.  

• Применение ReLU и линейных слоёв для вычисления выходного значения.  

• PyTorch автоматически вычисляет градиент в обратном направлении благодаря автоматическому дифференцированию.  

• Возможность использования функционального подхода вместо модулей с внутренними параметрами.  

• Создание экземпляра класса модели и применение её к изображению.  

• Важность понимания работы обратного распространения даже при автоматическом выполнении в PyTorch.  

• Для создания нового модуля необходимо написать собственную функцию backward.  

• Применение цепного правила для вычисления градиента функции затрат.  

• Объяснение размерностей векторов и матриц в контексте цепного правила.  

• Вектор-градиент записывается в виде строки, а производная одного вектора по другому представлена матрицей.  

• Функция принимает вход z и выдаёт выход zg.  

• Для вычисления производной модуля необходимо рассмотреть множество членов, так как каждый компонент zg может зависеть от каждого компонента z.  

• В результате получается матрица, где количество строк равно размерности вектора zg, а количество столбцов — размерности z.  

• Каждый элемент матрицы представляет собой частную производную.  

• Формула обратного распространения: градиент функции затрат по одной переменной умножается на матрицу Якоби для получения градиента по другой переменной.  

• Если функция — простое умножение на матрицу, матрица Якоби будет транспонированной исходной матрицей.  

• Умножение вектора градиента на транспонированную матрицу весов даёт градиент для следующего слоя.  

• Обратное распространение через линейный модуль — это умножение на транспонированную матрицу.  

• Модуль имеет два входа: zf и g, матрица весов.  

• Для вычисления градиента по весовым параметрам используется другая матрица Якоби.  

• Градиент по слою k равен градиенту по слою k+1, умноженному на матрицу Якоби слоя k+1 по слою k.  

• Функция, связывающая слои, может зависеть от внутренних параметров.  

• В PyTorch и других фреймворках используется параметризованная функция и функция затрат.  

• Производные вычисляются с помощью цепного правила или частных производных.  

• Зависимость выхода от параметров выражается через матрицу Якоби.  

• Вычислительный граф — это способ организации операций для вычисления градиента.  

• Автоматический способ преобразования графа вычисляет градиент.  

• PyTorch хорошо справляется с динамическими вычислениями и сложными функциями.  

• Если w — вектор-столбец размера m, а w — вектор-столбец размера n, то в результате вычислений получаются вектор-строка размера n, вектор-строка размера m и матрица Якоби размера n на n.  

• Все размерности согласуются друг с другом.  

• Использование библиотеки базовых модулей для создания сложных графовых структур.  

• Компоновка модулей в архитектуру обучающейся системы.  

• Применение базовых математических операций и параметризованных функций.  

• Основные модули: ReLU, сигмоиды, функции затрат.  

• Возможность конструирования вычислительных графов без циклов.  

• Упоминание рекуррентных сетей как способа обработки циклов.  

• Использование ReLU как основной нелинейности.  

• Важность правильной инициализации весов.  

• Проблемы с нулевыми весами и необходимость нарушения симметрии.  

• Инициализация весов случайными значениями для нарушения симметрии.  

• Приём Каймина: уменьшение весов при увеличении числа входов.  

• Примеры инициализации в PyTorch.  

• Перекрёстная энтропия как функция затрат для классификации.  

• Статистический градиентный спуск на мини-батчах.  

• Необходимость перемешивания обучающих примеров.  

• Разновидности стахастического градиентного спуска.  

• Проблемы с термином «стахастический градиентный спуск».  

• Методы SGD в PyTorch: Adam, ADAM, RMSprop, Adamax.  

• Нормализация входных данных для линейной оптимизации.  

• Влияние дисперсии входных данных на обучение.  

• Вычисление среднего значения и стандартного отклонения для каждой переменной.  

• Пример нормализации изображения в оттенках серого.  

• Вычисление среднего значения и стандартного отклонения для каждой переменной изображения.  

• Данные предварительно подготавливаются: для каждого пикселя вычисляется среднее значение и делится на стандартное отклонение.  

• Нормализованные данные имеют среднее значение 0 и стандартное отклонение 1.  

• Это помогает нейронной сети и алгоритму оптимизации работать эффективнее.  

• Безградиентные методы не предполагают дифференцируемости функции.  

• Примеры функций, где градиент не даёт информации: функции с резкими уступами или дискретные переменные.  

• Пример дискретной переменной: позиция фигур на шахматной доске.  

• Градиент оценивается путём возмущения входных данных и наблюдения за изменением функции затрат.  

• Сравнение с поиском пути в тумане: оценка направления спуска через пробные шаги.  

• Методы нулевого порядка не вычисляют производные, а оценивают функцию напрямую.  

• Примеры методов нулевого порядка: генетические алгоритмы, метод роя частиц.  

• Методы второго порядка вычисляют первую и вторую производные, ускоряя процесс оптимизации.  

• Примеры методов второго порядка: метод сопряжённых градиентов, квази-ньютоновские методы.  

• Библиотека неверград реализует множество алгоритмов оптимизации без доступа к градиенту.  

• Примеры алгоритмов: генетические алгоритмы, эволюционные методы, метод роя частиц.  

• В обучении с подкреплением система не знает функцию затрат, поэтому используются методы нулевого порядка.  

• Оценка градиента функции затрат через возмущения параметров или выхода нейросети.  

• Внутренние переменные сети также нормализуются для достижения нулевого среднего и единичной дисперсии.  

• Примеры методов нормализации: батчивая нормализация, послойная нормализация.  

• На начальном этапе обучения требуется высокая скорость обучения, но затем её необходимо снижать для достижения локальных минимумов.  

• В PyTorch есть готовые расписания для уменьшения скорости обучения.  

• Регуляризация L1 и L2 используется для устранения бесполезных весов.  

• Дропаут случайным образом выбирает долю нейронов и устанавливает их выходные значения в ноль, что делает сеть более устойчивой.  

• Обсуждение мотивации использования многослойных нейронных сетей и структур подобного типа.  

• Линейный классификатор разделяет пространство на два полупространства с помощью гиперплоскости.  

• Вычисляется взвешенная сумма входов, добавляется смещение, результат проходит через пороговую функцию.  

• Гиперплоскость задаётся уравнением $\sum_i w_i x_i + b = 0$.  

• Скалярное произведение входного вектора на вектор весов определяет положение гиперплоскости.  

• Ортогональные векторы имеют скалярное произведение, равное нулю, что определяет гиперплоскость.  

• В n-мерном пространстве гиперплоскость делит пространство на две половины.  

• Если точки данных невозможно разделить гиперплоскостью, это называется нелинейноразделимым случаем.  

• Линейный классификатор не подходит для таких случаев.  

• Теорема Кавера утверждает, что вероятность линейной разделимости точек в n-мерном пространстве близка к единице, если количество точек меньше размерности пространства, и близка к нулю, если больше.  

• Это объясняет, почему линейные классификаторы часто неэффективны для больших наборов данных.  

• Для классификации изображений с большим количеством примеров используется экстрактор признаков.  

• Экстрактор признаков должен быть нелинейным, чтобы превратить нелинейноразделимую задачу в линейноразделимую.  

• Примеры признаков для распознавания лиц: обнаружение глаз, измерение расстояний между ними и до рта.  

• Мозаичное разбиение и случайные проекции используются для увеличения размерности представления данных.  

• Случайная проекция: входные векторы умножаются на случайную матрицу и пропускаются через нелинейную операцию.  

• Полиномиальные классификаторы, радиально-базисные функции и ядерные машины также являются методами увеличения размерности.  

• Полиномиальный классификатор увеличивает размерность, добавляя произведения парных переменных к исходным.  

• Разделяющая поверхность в исходном пространстве становится квадратичной кривой или гиперповерхностью.  

• Метод плохо работает в высоких размерностях из-за значительного увеличения количества признаков.  

• Применение полиномиального классификатора к изображениям с высоким разрешением приводит к огромному количеству признаков.  

• Для задач высокой размерности этот подход непрактичен, но может быть полезен в некоторых случаях как полезный трюк.  

• Метод опорных векторов основан на ядерных машинах, которые представляют собой двухслойные системы.  

• Первый слой содержит столько нейронов, сколько обучающих примеров в наборе данных.  

• Нейроны первого слоя выдают большой выходной сигнал, если входной вектор соответствует обучающему примеру, и малый — если не соответствует.  

• Операция должна быть нелинейной, например, можно использовать скалярное произведение и отрицательную экспоненту.  

• После вычисления мер схожести обучается линейный классификатор.  

• Веса классификатора вычисляются на основе мер схожести.  

• Метод эффективен для задач низкой размерности с небольшим количеством обучающих примеров, но не подходит для компьютерного зрения.  

• Двухслойные нейронные сети могут аппроксимировать практически любую функцию с любой точностью при достаточном количестве элементов в скрытом слое.  

• Теорема утверждает, что двухслойные сети являются универсальными аппроксиматорами.  

• Аппроксимировать все функции двумя слоями неэффективно, так как многие функции требуют слишком большого числа скрытых элементов.  

• Многослойные сети позволяют представлять функции более эффективно.  

• Обобщающая способность зависит от соответствия архитектуры сети решаемой задаче.  

• Многослойность может улучшить обобщающую способность, уменьшая общий размер системы.  

• Перепараметризованные сети проще обучают, так как находят минимум целевой функции.  

• Увеличение количества параметров часто улучшает работу сети.  

• Мир композиционен: элементарные частицы объединяются в более сложные структуры.  

• Аналогичная иерархия присутствует в изображениях, тексте и речи.  

• Композиционность делает мир постижимым.  

• Слоистая архитектура нейросети отражает идею композиционной иерархии.  

• Каждый слой изучает представление с уровнем абстракции чуть выше предыдущего.  

• Сквозное обучение позволяет системе выучивать иерархические представления.  

• Глубокое обучение стало успешным благодаря способности изучать иерархические представления.  

• Это объясняет, почему глубокое обучение покорило мир за последнее десятилетие.