Обзор архитектуры Detection Transformer (DETR)

• Detter - это архитектура для детекции объектов, основанная на сверточной нейросети и трансформере.  

• Она не требует постпроцессинга, такого как подавление не максимумов.  

• Detter использует трансформеры для улучшения результатов.  

• Detter принимает изображения и предсказывает объекты.  

• Количество объектов задается во время обучения.  

• Если на изображении меньше объектов, чем предсказывает сеть, оставшиеся классы заполняются пустыми.  

• Включает сверточную нейросеть для извлечения признаков.  

• Признаки сжимаются в 32 раза и преобразуются в вектор.  

• Позиционное кодирование добавляет пространственную информацию для улучшения результатов.  

• Позиционное кодирование помогает сети понимать расположение объектов на изображении.  

• Используются тригонометрические функции или обучаемый имбединг для кодирования позиций.  

• Позиции добавляются к признакам для передачи в трансформер.  

• Используется стандартный трансформер с некоторыми изменениями.  

• Позиционное кодирование применяется на каждой итерации инкодера и декодера.  

• Комбинация синусов-косинусов и обучаемого имбединга дает лучшие результаты.  

• Для обучения сети нужно понимать, как оценивать её работу.  

• Используется функция потерь для сопоставления предсказаний с разметкой.  

• Оценка похожести классов и боксов помогает корректировать предсказания.  

• Оценка похожести классов основана на вероятности предсказания.  

• Для функции потерь используется минус логарифм вероятности.  

• Оценка похожести боксов требует более сложного подхода.  

• Генерал и У оценивает пересечение объектов и штрафует за отдаление от граунд-объекта.  

• Эль-Один Лосс вычисляет расстояние между двумя векторами, используя модуль суммы модулей разности по координатам.  

• Оценка похожести предсказаний и основной разметки.  

• Составление матрицы похожести предсказаний с разметкой.  

• Решение задачи с помощью венгерского алгоритма.  

• Алгоритм позволяет вычитать константы из строк и столбцов.  

• Оптимальное решение имеет нулевую стоимость.  

• Алгоритм минимизирует разницу между предсказаниями и разметкой.  

• Понижение веса пустых объектов в 10 раз.  

• Использование Эль-Один Лосс и Джиу для оценки похожести.  

• Итоги экспериментов с различными функциями.  

• Архитектура включает фичи экстрактор, трансформер и раскодирование объектов.  

• Обучение сети и анализ закономерностей предсказаний.  

• Визуализация запросов и предсказаний боксов.  

• Визуализация предсказаний боксов для различных запросов.  

• Запросы предсказывают объекты в разных областях и размерах.  

• Сравнение с человеческим взглядом на объекты.