Как обучить Vision Transformer (ViT) классификации изображений в реальном времени - Практические погружения в ML

• Видео посвящено практическому погружению в машинное обучение (ML) и анализу современных исследовательских работ.  

• В рамках погружения обсуждаются модели искусственного интеллекта, их архитектура и выводы.  

• В видео демонстрируется обнаружение движения в реальном времени на видео.  

• Используется модель трансформатора зрения, которая классифицирует изображения по семи эмоциям.  

• В видео обсуждается набор данных об эмоциях, содержащий шесть основных категорий эмоций и нейтральную категорию.  

• Набор данных содержит обучающие и тестовые данные, а также распределение классов в наборе данных.  

• Видео начинается с объяснения того, как обучить модель на собственном наборе данных, используя фреймворк Hugging Face.  

• Автор объясняет, как создать скелет аргументов командной строки и заполнить обучающий сценарий.  

• Он также объясняет, как прочитать метки и создать набор данных для обучения.  

• Автор демонстрирует, как загрузить данные и обучить модель на примере изображений с эмоциями.  

• Он объясняет, как использовать библиотеку для погружения для загрузки данных и как использовать Vision Transformer для классификации изображений.  

• Автор демонстрирует, как использовать тот же класс для чтения в тесте и как обучить модель на 100 примерах.  

• Он также объясняет, как загрузить модель, которую использовали ранее, и как обучить ее на собственном наборе данных.  

• Участники обсуждают, как обучение модели с использованием предварительно обученных моделей может помочь в решении проблемы несбалансированных классов.  

• Они также обсуждают, как предварительная тренировка может помочь в изучении новых классов, так как она позволяет увидеть множество разных людей в наборе данных.  

• Участники настраивают параметры обучения, включая количество обучающих примеров, количество эпох и размер пакета.  

• Они также обсуждают, как использование графического процессора может ускорить процесс обучения.  

• Участники обсуждают, как сохранить модель и как тонкая настройка может быть выполнена с использованием различных методов, таких как clip и resnet.  

• Они также обсуждают, как тонкая настройка может быть выполнена с использованием различных уровней модели.  

• В видео обсуждается, что у трансформеров есть разное количество слоев, которые можно тренировать.  

• Упоминается, что в статье, которую они читали, глубина зрения трансформатора была около 16 слоев.  

• Обсуждается возможность оставить предварительно подготовленные слои в нижней части и заменить или разморозить слои в верхней части.  

• В видео объясняется, как использовать clip для определения классов на лету.  

• Для этого нужно определить метки классов и подсказки, которые могут быть любыми словами на английском языке.  

• Затем можно передать эти данные в процессор clip и модель clip, чтобы получить предсказания.  

• В видео обсуждаются различные варианты использования clip, включая возможность определения пользовательских классов без предварительной подготовки модели.  

• Это может быть полезно, например, для создания продуктов, где пользователи могут определять свои собственные теги для фотографий.