#12. Алгоритм back propagation. Пример работы | Нейросети на PyTorch

• Сергей Балакирев представляет алгоритм обратного распространения ошибки backpropagation.  

• Цель алгоритма - вычислить весовые коэффициенты нейронной сети с помощью градиентного алгоритма.  

• Градиентный алгоритм зависит от выбранной функции потерь и функции активации нейронной сети.  

• Из-за большого объема обучающей выборки, суммирование на каждом этапе градиентного алгоритма расточительно.  

• На практике выбирают несколько случайно выбранных значений из обучающей выборки для расчета градиента.  

• Этот метод называется псевдоградиентом и сокращает объем вычислений.  

• Современные нейронные сети содержат множество параметров, что делает стандартное вычисление градиента неэффективным.  

• Алгоритм backpropagation позволяет вычислить градиент за линейное число операций.  

• Backpropagation был предложен в 1974 году и усовершенствован в 1986 году.  

• Сергей демонстрирует работу алгоритма на простой трехслойной нейронной сети.  

• На первом шаге делается прямой проход по сети, вычисляются промежуточные значения и ошибки.  

• Локальный градиент вычисляется для выходного нейрона и передается обратно к нейронам предыдущего слоя.  

• После вычисления локальных градиентов, корректируются веса связей в соответствии с градиентным алгоритмом.  

• Процесс повторяется для всех слоев нейронной сети.  

• На каждой итерации выбирается новый входной вектор для предотвращения ложных закономерностей.  

• Сергей демонстрирует обучение нейронной сети с использованием гиперболического тангенса и смещения.  

• Программа для обучения доступна для скачивания.  

• Входные данные и параметры обучения задаются для тренировки нейронной сети.  

• Случайным образом выбираем кат-образ из обучающей выборки.  

• Пропускаем его через нейронную сеть и запоминаем промежуточные значения.  

• Вычисляем ошибку как разность между полученным значением и требуемым откликом.  

• Корректируем веса связи для последнего слоя и выходного слоя.  

• Повторяем процесс тысячу раз для подбора весовых коэффициентов омега-один и омега-два.  

• После подбора весовых коэффициентов обучаем нейронную сеть.  

• Прогоняем обучающую выборку через обученную сеть и проверяем результаты.  

• Запускаем программу и проверяем корректность значений на выходе.  

• Значения на выходе близки к ожидаемым значениям минус один и плюс один.  

• Пропуская выходные значения через пороговую функцию активации, можно формировать значения минус один и плюс один.  

• В реальных задачах остается некоторый процент ошибок, задача - минимизировать их.