YOLO-World: Объяснено Обнаружение объектов в режиме реального времени с нулевым кадром

• Модель YOLO World может обнаруживать объекты в реальном времени.  

• Работает на мощных графических процессорах, таких как Nvidia T4.  

• В 20 раз быстрее предшественников, имеет архитектуру с нулевым кадром.  

• Традиционные модели ограничены набором категорий.  

• Для новых объектов требуется создание нового набора данных.  

• Исследователи разработали модели открытого словаря, такие как Grounding Dynamo.  

• Grounding Dynamo требует обучения, но работает медленно.  

• Обработка одного изображения занимает около 2 секунд.  

• Медленная скорость из-за тяжелой архитектуры на основе трансформаторов.  

• YOLO World обладает такой же точностью и в 20 раз быстрее.  

• Состоит из трех частей: детектор YOLO, кодировщик текста CLIP и пользовательские сети.  

• Использование легкой и быстрой сети CNN и кэширование вложений текста.  

• На этой неделе состоится первая сессия сообщества.  

• Вопросы по модели YOLO World и коду можно задавать в комментариях.  

• Присоединяйтесь к прямой трансляции для обсуждения.  

• Ссылка на кулинарную книгу в описании.  

• Убедитесь, что Google Colab работает с ускорением GPU.  

• Установите необходимые библиотеки: roboflow inference и supervision.  

• Импортируйте нужные пакеты и создайте экземпляр YOLO World.  

• Задайте классы и загрузите изображение для обнаружения.  

• Визуализируйте результаты с помощью пакета supervision.  

• Снимите порог достоверности для обнаружения менее уверенных классов.  

• Используйте не максимальное подавление NMS для удаления дубликатов.  

• Установите агрессивное пороговое значение IOU для NMS.  

• YOLO World эффективен при обработке видео.  

• Достигает 50 кадров в секунду на Nvidia V100 и 15 кадров в секунду на Nvidia T4.  

• Прокрутите кадры видео и сделайте вывод для каждого из них.  

• Проверьте способность YOLO World обнаруживать заполненные отверстия.  

• Используйте цветовую привязку для подсказок.  

• Отфильтру  

• Использование класса video info для получения информации о разрешении видео.  

• Вычисление общей площади кадра и ограничивающих рамок.  

• Векторизация операций с помощью numpy и фильтрация ограничивающих рамок по относительной площади.  

• Использование генератора кадров и videosync для перебора кадров и записи результата.  

• YOLOv2 успешно решает задачу, требующую обучения модели на пользовательском наборе данных.  

• YOLOv2 медленнее современных детекторов объектов в реальном времени.  

• Менее точен и надежен по сравнению с моделями, обученными на пользовательском наборе данных.  

• Полезен в контролируемых условиях, например, на фабрике по производству круассанов.  

• Создание прототипа с YOLOv2 и проверка его работы.  

• Возможность обучения модели на пользовательском наборе данных при отсутствии контроля над окружающей средой.  

• Использование YOLOv2 для обработки видео с открытым словарем и создания конвейеров сегментации.  

• Возможность создания конвейеров обработки видео с автоматическим удалением фона.  

• YOLOv2 делает обнаружение объектов более быстрым, дешевым и общедоступным.  

• Рекомендации по ознакомлению с материалами YOLOv2 и ответы на вопросы в комментариях.  

• Призыв к подписке и лайкам, а также обещание большего контента о компьютерном зрении.