Вариационные автоэнкодеры (VAE). Что это такое? | #28 нейросети на Python

• Обсуждение работы простого автоэнкодера, который воспроизводит изображения цифр по вектору скрытого состояния.  

• Введение в полновязную нейронную сеть с двумя нейронами для описания вектора скрытого состояния.  

• Реализация автоэнкодера в лаборатории Google.  

• Подключение необходимых библиотек и формирование обучающей выборки.  

• Создание автоэнкодера с двумя нейронами и функцией активации линейной.  

• Обучение автоэнкодера для точного восстановления сигнала по вектору скрытого состояния.  

• Прогон тестового множества через автоэнкодер и получение множества точек скрытого состояния.  

• Отображение точек на плоскости для визуализации распределения.  

• Пример декодирования изображений по векторам скрытого состояния.  

• Обычный автоэнкодер не позволяет точно выбирать точки для генерации осмысленных изображений.  

• Введение вариационных автоэнкодеров, которые формируют компактное пространство скрытого состояния.  

• Вариационные автоэнкодеры используют нормальное распределение для моделирования компактной области.  

• Преобразование входного пространства в компактное скрытое пространство признаков.  

• Введение критерия качества для оценки степени расхождения между распределениями.  

• Описание дивергенции Кульбака-Лейблера и её применение для оценки качества распределения.  

• Мера расхождения зависит от векторов математического ожидания и дисперсии.  

• Шкодер формирует вектор скрытого состояния, а не математическое ожидание и дисперсию.  

• Для использования в обучении вариационного автоэнкодера, шкодер будет формировать эти два вектора.  

• На выходе коддера будут два вектора: математическое ожидание и дисперсия.  

• Эти векторы используются для генерации вектора скрытого состояния.  

• Вектор скрытого состояния формируется путем умножения нормальной случайной величины на дисперсию и добавления математического ожидания.  

• Нейроны кодера будут выдавать векторы математического ожидания и дисперсии для каждого входного наблюдения.  

• Нейронная сеть не мыслит категориями математического ожидания и дисперсии, но обучается таким образом.  

• Структура вариационного автоэнкодера способствует формированию этих признаков.  

• В процессе обучения минимизируются два критерия: соответствие выходного сигнала входному и критерий Кульбака-Лейблера.  

• Итоговый критерий качества будет суммой этих двух критериев.  

• На следующем занятии будет реализована модель вариационного автоэнкодера и оценены результаты.