Обнаруживайте все, что хотите, с помощью Grounding DINO | Zero Shot Object Detection SOTA

• Grounding Dynamo - новейший детектор объектов с нулевым уровнем детекции.  

• В отличие от обычных детекторов, Grounding Dynamo позволяет изменять подсказки для обнаружения произвольных объектов.  

• Демонстрация будет включать примеры логического вывода и обучение модели.  

• Создание записной книжки Jupyter для демонстрации.  

• Запуск NVIDIA SMI для проверки доступа к графическому процессору.  

• Установка зависимостей и клонирование репозитория Grounding Dynamo.  

• Загрузка модели в память с использованием конфигурационного файла и файла весов.  

• Подготовка набора изображений для демонстрации.  

• Обсуждение мультимодальности и её преимуществ.  

• Обнаружение стульев на изображении.  

• Возможность изменения подсказок для более точного обнаружения.  

• Пример обнаружения стульев, на которых сидят мужчины.  

• Обнаружение нескольких классов одновременно.  

• Пример обнаружения стула, собаки, стола и других объектов.  

• Возможность создания дополнительных ограничений для обнаружения.  

• Пример обнаружения стаканов на изображении.  

• Изменение запроса для более точного обнаружения.  

• Преимущества использования языка для создания запросов.  

• Использование Grounding Dynamo для автоматического аннотирования наборов данных.  

• Вход в Roboflow и создание токена.  

• Загрузка набора данных из Roboflow Universe и выбор случайного изображения.  

• После загрузки набора данных нужно создать текстовое приглашение.  

• Объединение имен всех классов и разделение их запятыми оказалось неудачным выбором.  

• Модель распознала только шлем, так как названия классов были неконкретными и использовали сокращения.  

• Вернулись к Jupyter Notebook и вручную уточнили список классов.  

• Добавили светоотражающий жилет, каску, головной убор и непрозрачный защитный жилет.  

• После доработки модель стала распознавать больше деталей на изображении.  

• Автор считает, что подобные архитектуры - будущее компьютерного зрения.  

• Упоминает, что GPT-4 может обладать аналогичными возможностями.  

• Призывает подписаться на канал и следить за обновлениями для новых видео о компьютерном зрении.