Расширенный вариационный автоэнкодер (CVAE) | #30 нейросети на Python

• На предыдущем занятии был реализован простой вариационный автоэнкодер.  

• Скрытое пространство не всегда полно описывало входной сигнал.  

• Использование меток класса для улучшения представления изображений.  

• Переход в лабораторию Google для удобства.  

• Импорт необходимых библиотек и слоев.  

• Загрузка и стандартизация базы данных изображений.  

• Определение размера скрытого пространства и числа классов.  

• Формирование обучающей выборки и меток класса.  

• Объявление вспомогательной функции для добавления слоев.  

• Объяснение структуры кодера: входной слой, слой для метки класса, объединение входов.  

• Использование полносвязного слоя и слоев бэч-нормализации.  

• Формирование математического ожидания и дисперсии.  

• Объяснение архитектуры декодера: вектор скрытого состояния и метка класса.  

• Объединение входов и использование полносвязного слоя.  

• Формирование изображения на выходе декодера.  

• Определение входов и выходов кодера и декодера.  

• Формирование расширенного автоэнкодера на основе кодера и декодера.  

• Обучение и тестирование расширенного автоэнкодера.  

• Формирование функции потерь и компиляция модели.  

• Обучение расширенного автоэнкодера с использованием оптимизатора Adam.  

• Тестирование модели на обучающей выборке с метками класса.  

• Запущено обучение расширенного автоэнкодера.  

• Прошли пять эпох обучения.  

• Скрытое пространство распределено по нормальному закону.  

• Декодер преобразует точки скрытого пространства в исходное изображение.  

• Расширенный автоэнкодер использует метку класса.  

• Метка класса определяется как вектор из десяти нулей.  

• Декодер интерпретирует точки скрытого пространства как цифры.  

• Пример: цифра два интерпретируется как множество различных цифр.  

• Пример с меткой класса цифра пять.  

• Декодер генерирует различные цифры в зависимости от метки класса.  

• Возможность генерации изображений с желаемыми начертаниями.  

• Использование стандартного вариационного автоэнкодера.  

• Удаление части расширенного вариационного автоэнкодера.  

• Перенос стиля написания одной цифры на другую.  

• Создание сети z-miner для получения математического ожидания.  

• Использование стандартного декодера с z-miner.  

• Сеть tr-style обучена для исключения дисперсии.  

• Использование вспомогательных функций для отображения изображений.  

• Генерация десяти цифр из обучающей выборки.  

• Изменение метки класса для генерации различных начертаний цифр.  

• Генерация изображений с различными метками класса.  

• Декодер сохраняет общие характеристики изображений.  

• Компактное скрытое пространство описывает общие характеристики изображений.  

• Примеры использования в различных областях.  

• Применение на движущихся объектах для анализа видео.  

• Преимущества перед прямым анализом кадров.