[2023/11/01 Лек] Детектирование объектов (Влад Шахуро)

• Обсуждение задачи детектирования объектов на изображении, включая классификацию и сегментацию.  

• Рассматриваются методы нейросетевого детектирования, включая двустадийные и одностадийные детекторы.  

• Обсуждение задачи многоклассовой детекции объектов, включая разметку по пикселям и ограничивающие прямоугольники.  

• Упоминается датасет MMS Coco для многоклассовой классификации и датасет для одноклассовой классификации, включая людей-пешеходов и дорожные знаки.  

• Обсуждение метрик для оценки качества детекции, включая критерий интерсекшена в юнион.  

• Упоминаются датасеты для различных задач, включая людей-пешеходов, лица и дорожные знаки.  

• В видео обсуждается метод обнаружения объектов, который использует пересечение прямоугольников для определения наличия объекта в кадре.  

• Метод также учитывает уверенность в обнаружении, которая может быть от 0 до 1.  

• В видео объясняется, как можно построить график точности и полноты для разных методов обнаружения объектов.  

• Это позволяет выбрать метод с оптимальными характеристиками для конкретной задачи.  

• В видео обсуждаются различные способы разметки данных для обучения и тестирования методов обнаружения объектов.  

• Также упоминается проблема слишком мелких объектов или объектов, которые можно было бы игнорировать, и как с этим можно справиться.  

• В видео обсуждается, как сравнивать изображения с разным количеством объектов, чтобы получить более объективную оценку методов обнаружения объектов.  

• В видео обсуждается метод детекции через классификацию, который часто используется для обнаружения объектов на изображениях.  

• Метод основан на использовании плавающего окна, которое перемещается по изображению и применяет бинарную классификацию для определения наличия объекта.  

• Однако, этот метод имеет ограничения, так как объекты могут иметь разные соотношения сторон и размеры, что требует использования нескольких плавающих окон с разными размерами.  

• В видео также обсуждается метод, который появился после AlexNet, называемый R-CNN.  

• Этот метод использует внешний метод для генерации гипотез, которые затем применяются к изображениям для обнаружения объектов.  

• Метод работает лучше, чем классические методы, благодаря использованию нейросетевых признаков и классификации.  

• Метод Fast R-CNN работает быстрее и обучается быстрее, чем метод R-CNN.  

• Метод использует слой рой пуллинг для извлечения признаков из изображения.  

• Метод работает с использованием нейросети, которая предсказывает признаки для каждого бибокса.  

• Метод YOLO объединяет этапы генерации проползовлов и классификации.  

• Метод работает с использованием нейросети, которая предсказывает вероятности объектов и классов для каждой ячейки.  

• Метод обучается с использованием тренировочных примеров и предсказаний для каждого бибокса.  

• Ретина Нет базируется на двух важных идеях: использование бэкбоунов для просмотра на разные области изображения и использование пирамиды признаков для работы с разными разрешениями.  

• Ретина Нет использует метод сингл-шот детектора, который похож на ретина Нет.  

• Фичи пирами Нетфк работает с признаками разного разрешения, агрегируя глобальную и локальную информацию.  

• Признаки более высокого уровня интерполируются для отката к более низким разрешениям.  

• Ретина Нет превосходит предыдущие методы по качеству и скорости.  

• Эк Фри Детекшн - последний метод, который будет рассмотрен.  

• Рассматриваются методы детекции объектов, включая якоря, регрессию и трансформеры.  

• Обсуждаются методы, основанные на сверточных сетях, такие как Fcos и DETR.  

• Трансформеры используются для многомодальных методов, таких как предсказание объектов по текстовому описанию.  

• В реальном времени наиболее популярным является метод YOLOv3.  

• Ультралитикс предлагает две версии детектора, но коммерческие лицензии могут быть дорогими.  

• В продакшене часто используются детекторы, такие как YOLOv3, для задач, требующих высокой скорости и точности.  

• В ванильном Detter запросы не интерпретируются, и нет гарантий на их поведение.  

• В развитии Detter были работы по упорядочиванию запросов.  

• Запросы могут быть интерпретируемыми, если они получены из текстового инкодера.  

• РСН используются в основном с исторической точки зрения, но есть варианты с дополнительной параметризацией для спутниковых снимков.  

• Лицензии на РСН опенсортные, и идеи не защищены патентами.  

• В крайнем случае, можно реализовать РСН самостоятельно.