Влад Виноградов | Inferoxy - ещё один движок для инференса нейронных сетей

• Влад Виноградов, руководитель отдела компьютерного зрения в компании Ва Дата Лап.  

• Разработка решений на основе компьютерного зрения и необходимость создания платформы для хостинга нейросетей.  

• Цель: создать универсальную платформу для хостинга моделей, поддерживаемую в унифицированном стеке.  

• Прошли несколько итераций для создания фреймворка.  

• Разработали платформу для хостинга моделей под названием Вижен Хаб.  

• Платформа позволяет публиковать модели в виде докер-образов и обрабатывать фото и видео.  

• На платформе опубликовано множество моделей, включая открытые исходные и разработанные для заказчиков.  

• Пример модели для определения параметров лица и тела мужчины.  

• Модель может сегментировать волосы, бороду, усы и определять тип бороды и цвет волос.  

• Личный кабинет для просмотра статистики по моделям.  

• Возможность наблюдать паттерны использования моделей и влияние маркетинговых кампаний.  

• Примеры загруженных изображений и видео с результатами и ошибками.  

• Использование REST API для создания задач и отправки изображений, видео и метаданных.  

• Возможность получения статуса задачи и результатов.  

• Проблемы с использованием моделей на продакшне и необходимость более изящных методов.  

• Три основных направления: Flask приложения, Triton и Kubernetes.  

• Triton требует знаний в написании веб-приложений и сложных пайплайнов.  

• Kubernetes позволяет масштабировать модели, но требует знаний в написании графов и разработке докер-образов.  

• Другие решения, такие как Provectus Hydrosfera, не разработаны для нейросетевого стека и имеют свои ограничения.  

• Желание создать библиотеку, которая позволит упаковывать модели в докер с произвольным стеком.  

• Библиотека должна автоматически бачить модели на несколько GPU и поддерживать состояние моделей.  

• Цель: быстрый и простой процесс, где разработчики не вовлекаются в бэкенд-разработку.  

• Начало разработки с Flask приложения.  

• Пользователи отправляют изображения, которые обрабатываются существующими моделями.  

• Отображение докеризованных моделей с различным нейросетевым стеком.  

• Стек не определен заранее, что усложняет коммуникацию.  

• Kafka подходит для стриминговых данных, но не для одиночных запросов.  

• Третий вариант позволяет эффективно передавать данные в бинарном формате.  

• Flask-приложение синхронное, что не подходит для батчинг.  

• Необходим отдельный компонент для сбора и разбивки данных.  

• Добавление прокси позволяет эффективно батчинг на одной машине.  

• Для масштабирования на кластере нужен реестр моделей.  

• Реестр хранит ссылки на докер образы моделей и позволяет создавать копии.  

• Управление моделями через P5 для тестирования и развертывания.  

• Использование различных протоколов для обмена данными.  

• Модуль бач дистрибьюшн распределяет запросы по нодам кластера.  

• Модуль менеджер управляет ссылками на докер образы и общается с хранилищем.  

• Метод поди бач принимает список сэмплов и словарь с параметрами.  

• На выходе получаем изображение, аудио и предсказание.  

• Отрисовка может быть опциональной для повышения эффективности.  

• Dockerfile описывает зависимости и сборку моделей.  

• Установка компонентов и сборка с кудой для эффективного детектора лиц.  

• Коммуникация с моделью через сокеты.  

• Формирование пакета для запроса в модель.  

• Указание идентификатора модели, входов и параметров.  

• Отправка пакета через POST запрос и получение ответа.  

• Очередь сообщений разбивается на секции для каждой модели.  

• Использование нескольких копий модели для обработки запросов.  

• Дебач-менеджер отправляет результирующие бачи в нефиксированном порядке.  

• Автомасштабирование увеличивает ресурсы при возросшей нагрузке и уменьшает при нисходящей.  

• Использование модуля редджист для управления докер образами и моделями.  

• Определение необходимости создания дополнительных копий моделей.  

• Определяем ап-триггеры для поднятия новых копий модели.  

• Для стейтлес моделей: если ноль копий, поднимаем хотя бы одну.  

• Оцениваем дроб-рейт для стейтфл моделей: если выше трэш-холта, поднимаем новую копию.  

• Для стейтлес моделей: если число уникальных пользователей превышает число доступных копий, поднимаем новую модель.  

• Для стейтфл моделей: если дроб-рейт ниже трэш-холта, освобождаем ресурс.  

• Для стейтлес моделей: если нет новых бачей, останавливаем обработку модели.  

• Для стейтфл моделей: если нет новых бачей в течение времени, останавливаем обработку.  

• Лотона лайзер и хелф чекер как компоненты кластера.  

• Хелф чекер следит за обработкой запросов и возвращает ответ клиенту.  

• Менеджер отвечает за нотификацию и отправку данных в выходную очередь.  

• Библиотека поддерживает работу в разных окружениях: единая машина и Kubernetes кластер.  

• Используем абстракцию клауд клайнд для запроса ресурсов соответствующего клиента.  

• Компьютер вижен инженеру не нужно знать сложные технологии для инференса моделей.  

• Использование инфиокси и докер образов упрощает процесс.  

• Библиотека инфокси опубликована в GitHub и доступна для использования.  

• Библиотека инфокси теперь опен сорс проект.  

• Призываем к общению с сообществом и обмену фидбеком.  

• Надеемся на совместное развитие инструмента для решения проблем инференса моделей.