Важная задача в автокодировщиках и ганах.
Пример: генерация человеческого лица в очках.
Как добавить семантику к признакам.
Фьюнита юнит: разделение кондера и стайла.
Использование стиля для адаптации параметров.
Пример инфогана: добавление дискретной переменной в латентный код.
Порождение человеческих лиц и стиль трансфер.
Применение стилей разного уровня для изменения внешности.
Использование мепинг нетворк для разделения стилей.
Иллюстрация изменений в лицах при применении стилей.
Влияние шума на результаты.
Примеры из 2014 и 2018 годов.
Пример фейс гэн: замена лиц.
Архитектура для сложных задач.
Сегментация и вставка лиц.
Использование ганов для супер-резолюции.
Пример обучения классификатора на текстах из википедии.
Применение ганов для генерации изображений.
Обучение без тренировочных примеров.
Пример зиро-шот по скетчам.
Нормализующие потоки: обратимое преобразование латентного кода.
Задача генерации изображений отличается от задачи ранжирования.
Рассматривается поиск изображений в базе данных.
Переход к обсуждению синтетических данных.
Две статьи из лаборатории, одна прошлого года, другая этого года.
Задача: научиться переносить объект с одной картинки на другую.
Пример: перенос песика с одного фона на другой.
Сегментация песика и его копирование на новый фон.
Восстановление картинки после удаления песика.
Закрашивание дырки для создания естественного вида.
Три генератора: сегментация, заполнение пустого места, восстановление.
Обзор функций потерь в ганах.
Дискриминаторы для различения картинок с песиками и без.
Функции потерь для реконструкции фона и общего реконструкшена.
Сепшен и его роль в сравнении признаков.
Функции потерь для сохранения текстур и признаков.
Архитектура для переноса песика и сегментации.
Сегментация без учителя, что улучшает качество.
Пример работы с перекрашиванием времени дня.
Задача перекрашивания времени дня на картинках 4K.
Архитектура с двумя энкодерами и генератором.
Важность сегментации для предотвращения галлюцинаций.
Реконструкция контента и стиля.
Использование случайного стиля для проверки.
Мотивация использования всех функций потерь для достижения результата.
Обсуждение сегментации и её проблем.
Метод даун-сэмплинга для увеличения размера изображения.
Применение сети для обработки изображений и создание тензора.
Пример обмена стилями между изображениями.
Использование гайден с видео для создания стилей.
Проблемы с цветопередачей и необходимость сегментации.
Трудности и сложности проекта.
Необходимость больших команд и времени для реализации.
Текущее состояние проекта и его перспективы.
Введение в синтетические данные и их применение.
Проблемы с разметкой данных и их автоматизация.
Примеры использования синтетических данных в различных задачах.
Важность синтетических данных для беспилотных автомобилей.
Примеры использования виртуальных городов для обучения.
Современные достижения в создании синтетических данных.
Применение GAN в синтетических данных.
Проблемы переноса моделей с синтетических данных на реальные.
Пример успешного переноса модели манипулятора от Facebook.
Денфер - это задача, когда модель обучена на одном типе данных, а используется на другом.
Существуют два основных подхода: изменение данных и обучение модели на синтетике.
В случае синтетики, данные могут быть изменены для улучшения реалистичности.
Задача отслеживания взгляда: на входе картинка глаза или лица, на выходе угол взгляда.
В 2015 году был опубликован базовый метод с использованием сверточной сети.
В 2016 году вышла статья с большим синтетическим датасетом искусственных глаз.
Метод ближайших соседей оказался лучше, чем сверточная сеть.
Модель извлекала признаки из синтетической базы и использовала ближайшего соседа.
Это работало лучше, чем сверточная сеть, благодаря большому количеству синтетических данных.
Статья от Apple улучшила синтетические данные с помощью проганов.
Рефайнер делает синтетические глаза более реалистичными.
Дискриминатор проверяет, отличаются ли отрифайненные глаза от настоящих.
Не хватает целевой переменной для сохранения направления взгляда.
Модель, обученная на синтетике, имеет высокое качество, но может быть заверфитившейся.
Задача гана - сделать синтетические данные неотличимыми от настоящих.
Определение направления взгляда полезно для улучшения взаимодействия с устройствами.
В прошлом использовались трекеры для точного определения направления взгляда.
Цель - смоделировать эти технологии для улучшения взаимодействия.
Сайкл ган использует два рефайнера для создания реалистичных глаз.
Сравнение до и после цикла показывает сохранение направления взгляда.
Задача определения угла взгляда сложна для людей, но решаема с помощью трекеров.
Рефайнмент работает лучше для маленьких картинок, таких как глаза.
Для настоящих картинок рефайнмент сложнее, но попытки есть.
Примеры включают оценку глубины по одной картинке и распознавание товаров в виртуальной машине.
Вопрос аудитории: можно ли делать рефаймент в обратном направлении?
Зачем может понадобиться задача перевода настоящих фоток в рендеры?
Модели на синтетике работают хорошо, но редко делают наоборот.
Верфитинг синтетики на реальные данные добавляет шум.
Невозможно контролировать, что именно улучшается в модели.
На реальных данных нет нужной разметки, что затрудняет трансфер.
Перегонка реальных данных в синтетику требует много времени и ресурсов.
В обычном рефайменте модель обучается один раз и применяется на реальных данных.
Реальные данные могут быть использованы для создания синтетических данных.
Пример: распознавание лиц с разными позами.
Обучение модели вращать и поворачивать реальные лица для заполнения пробелов в данных.
Обучение на синтетике и применение на реальных данных.
Изменение процесса обучения или архитектуры модели.
Использование общих весов и явных отображений для обучения на синтетике.
Извлечение признаков из реальных и синтетических данных.
Специальный классификатор для определения подлинности данных.
Архитектура, где сеть извлекает признаки, неотличимые друг от друга.
Три разных энкодера: для синтетики, реальных данных и общий.
Реконструкция исходных картинок по извлеченным признакам.
Общие признаки не должны быть различимы, а частные признаки должны быть ортогональны.
Обучение тест-ЛОС только на общих признаках.
Общие признаки используются для переноса на реальные данные.
Обучение на общих признаках позволяет избежать проблем с различимостью.
Полезно добавлять распределение целевых классов в качестве регуляризатора.
Пример: сохранение 30% асфальта на картинке для реалистичности.
Это помогает избежать эффектов, таких как перекрашивание всего асфальта в траву.
Синтетические данные создаются для обучения моделей, которые будут работать на реальных данных.
Важно, чтобы модели, обученные на синтетических данных, хорошо работали на реальных.
Вопрос: можно ли использовать сигнал от модели для улучшения синтетических данных?
Возможность замыкания фидбека от модели в параметры генератора синтетических данных.
Примеры: параметризованная компьютерная графика, ганс с весами и стилями.
Использование вероятностных грамматик для создания деревьев, которые можно обучать.
Ганы пока не работают автоматически красиво, но могут быть полезны для специфических задач.
Пример: генерация котика, но это может быть сложно.
Ганам всего пять лет, и их возможности могут значительно улучшиться.
Обзор синтетики для синтетик дейта и деплер.
Сложности с дискретными данными и градиентами.
Примеры: генерация освещения и 3D-моделей.
Трудности генерации текста и дискретных объектов.
Примеры: языковые модели и генерация видео.
Использование ганов для генерации анимационных мини-сценок.
Ганы могут быть полезны для аугментации данных, но это редкость.
Пример: вырезание опухолей из нормальных мозгов для обучения моделей.
Ганы как средство аугментации требуют специальных задач.