Краткое руководство по Vision Transformer - Теория и код за (почти) 15 минут

• Vision Transformer - это расширение Transformer для обработки изображений.  

• Используется только левая часть модели, кодировщик.  

• Правая часть, декодер, применяется для генерации текста.  

• Представлен Google Research в 2020 году.  

• Автор впервые использовал модель на практике для медицинской визуализации.  

• Сравнение с CNN для данных медицинской визуализации.  

• Входные данные преобразуются в числовые векторы.  

• В классическом Transformer используются токены, в Vision Transformer - патчи изображений.  

• Пример с изображениями дорожных знаков.  

• Использование полностью подключенной нейронной сети для генерации вложений.  

• Преобразование изображений в патчи с помощью inops.  

• Пример реализации с использованием PyTorch.  

• Введение токена cls для классификации.  

• Позиционные вложения для понимания расположения патчей на изображении.  

• Использование обучаемых векторов для позиционных вложений.  

• Мультиголовочное внимание для обмена информацией между входами.  

• Нормализация слоев для улучшения обучения.  

• Линейные слои и остаточные соединения для улучшения потока информации.  

• Объединение всех компонентов для создания Vision Transformer.  

• Пример реализации с использованием PyTorch.  

• Сравнение с оригинальной реализацией и упрощение параметров.  

• Упрощение архитектуры для ускорения обучения.  

• Встраивание патчей и исправление изображений.  

• Использование токена cls и вложения позиции.  

• Прохождение через все слои трансформатора.  

• Использование блоков с вниманием и нормализацией.  

• Применение классификационного токена для предсказаний.  

• CNN обладают трансляционной инвариантностью.  

• Vision transformers гибкие и требуют больше данных.  

• Рекомендации по использованию моделей в зависимости от объема данных.  

• Встроенная возможность интерпретации vision transformers.  

• Визуализация карты внимания.  

• Расширение swin transformer и его особенности.  

• Модель с эффективным использованием данных.  

• Дистилляция знаний для улучшения производительности.  

• Использование дополнительного токена дистилляции.  

• Надежда на полезность видео.  

• Пожелания хорошего дня.