Прикладные задачи анализа данных, лекция 12 — Introduction to MLOps

• Emotion позволяет эффективно управлять ресурсами, связанными с разработкой и тренировкой моделей.  

• Важность воспроизводимости тренировок и доставки моделей для промышленных применений.  

• Декомпозиция компетенций позволяет разделить задачи между специалистами, которые знают разные аспекты разработки и доставки моделей.  

• Дизайн систем и аналитическая инфраструктура необходимы для построения масштабируемых систем вокруг данных.  

• Рекомендуется изучить дизайн систем и аналитическую инфраструктуру для понимания, как система встраивается в другие системы.  

• В процессе разработки продукта с использованием данных, важно учитывать бизнес-понимание проблемы, продуктовые гипотезы и подтверждение на данных.  

• Данные используются для проверки бизнес-гипотез и принятия решений о разработке продукта.  

• После принятия решения о разработке продукта, необходимо подготовить данные, провести моделирование и проверить метрики.  

• На этапе дипломента проводятся технические тесты и проверка на совместимость.  

• Существуют стандарты разработки продукта, такие как кривдеме, кдд и сема, которые описывают процесс разработки продукта с использованием данных.  

• Стандарт тим дейта сай про, разработанный компанией микрософт, также описывает процесс разработки продукта с использованием данных.  

• Эмос - это командный процесс, который строится на людях и их ролях.  

• Эмос обеспечивает взаимодействие между этапами машинного обучения, такими как планирование, кодинг, контроль версий, билдинг, тестирование, релиз и применение.  

• Эмос также включает в себя автоматизацию и улучшение качества процессов.  

• Диопс - это методология, которая использует набор практик и инструментов для автоматизации работы разработчиков.  

• Диопс интегрирует и автоматизирует работу софт-инженеров, чтобы улучшить и сократить цикл разработки программного обеспечения.  

• Эмос используется в крупных компаниях для работы с данными и моделями машинного обучения.  

• Эмос имеет различные уровни, включая амалепс мачурите, нишел стейш, репита был, релайбл и скила был.  

• Эмос помогает компаниям стандартизировать процессы, тестировать и развертывать модели машинного обучения в продакшн.  

• В видео обсуждается важность внедрения машинного обучения в текущие процессы и построение новых процессов с нуля.  

• Упоминается важность определенных этапов разработки, таких как разбор моделей, выкатывание и тестирование.  

• Отмечается, что машинное обучение не только для крупных корпораций, но и для компаний, работающих в сфере сумочек и очков.  

• Гуччи использует машинное обучение для прогнозирования и оптимизации рекламных кампаний.  

• Модели семейства ARIMA используются для анализа временных рядов и обучения на последних данных.  

• Благодаря внедрению машинного обучения, время доставки результатов моделей сократилось с дней до часов.  

• Хранение и управление кодовой базой, включая использование различных архитектур и быть хорошим инженером.  

• Хранение и управление данными, включая сбор, получение и ревью данных.  

• Дейта визиш, или сбор данных, также является важной задачей.  

• Аб-тесты, или эксперименты с изменением параметров, также включены в этот пункт.  

• Важность инквизишн и логирования экспериментов для обучения моделей.  

• Управление вычислительными мощностями и гпу.  

• Хранение моделей на диске, оптимизация работы моделей.  

• Примеры мультистейдж моделей и их разделение на стейджи.  

• Применение моделей в продакшне, оптимизация весов и беннингов.  

• Оптимизация поиска ближайших соседей.  

• Обзор готовых решений, в частности амазоновский стек.  

• Инхаус-разметка и краудсорс данных.  

• Видео обсуждает стеки больших технологических компаний, таких как Amazon, Google, Microsoft, Яндекс и другие.  

• Amazon предлагает решение под названием "Сиджмейкер", которое работает в облаке и позволяет пользователям создавать и обучать модели.  

• Google также предлагает свое решение "Гугл Клауд", которое интегрировано с "Сиджмейкер" и позволяет пользователям обучать модели без необходимости использования других продуктов.  

• Microsoft предлагает "Ажура", которая является огромной корпорацией и также производит железо и программное обеспечение для обучения моделей.  

• Яндекс предлагает "Писорсли войти саурус", который является системой внутри Яндекса и не продается наружу.  

• "Краудсорс" также упоминается как технология, которая позволяет пользователям обучать модели.  

• Видео обсуждает процесс обучения моделей, который включает в себя сбор данных, анализ данных, подготовку к обучению моделей, обучение моделей, валидацию и диплои.  

• Amazon и Google предлагают свои собственные решения для обучения моделей, которые интегрированы в их облачные платформы.  

• Microsoft также предлагает "Ажура" для обучения моделей, но не продает его наружу.  

• Яндекс предлагает "Писорсли войти саурус", который является системой внутри Яндекса и не продается наружу.  

• Видео обсуждает различные промышленные решения, такие как Mepps, которые предоставляют качественные решения для анализа данных.  

• Однако, большинство исследователей не заинтересованы в таких вещах, предпочитая писать статьи и заниматься академическими исследованиями.  

• В этом контексте, эффективность использования железа является общей характеристикой для всех.  

• Видео обсуждает опенисорс стек, который позволяет пользователям покупать серверы и объединяться с друзьями для совместной работы.  

• Однако, отсутствие единого решения и оркестрации между инструментами является проблемой, требующей больших ресурсов для решения.  

• Видео обсуждает практические занятия, которые могут быть полезны для изучения эмпс.  

• В частности, код кволите инструменты и перевод работы в формат гиб репозитория с наличием сиди, стейжей и других функций.  

• Также обсуждается работа с данными, включая девясишки и продюы.