Управление данными в Yandex Cloud Data Platform: от слов к делу

• Компания Яндекс Клауд была запущена в 2018 году и является дочерней организацией Яндекса.  

• Платформа предлагает более 53 сервисов, включая инфраструктурные, платформенные и сас-приложения.  

• Стратегия развития включает увеличение количества новых сервисов и интеграцию всех сервисов между собой.  

• Платформа предоставляет единую консоль управления для управления инфраструктурой и сервисами.  

• Яндекс Клауд также предлагает сервисы для продуктивности, такие как почта, календарь и видеоконференцсвязь.  

• Яндекс Клауд имеет три дата-центра, которые являются собственностью Яндекса и построены по технологии фрикулинг.  

• Сервера для всех сервисов Яндекса, включая Яндекс Клауд, проектируются и собираются по собственной технологии Яндекса.  

• Безопасность обеспечивается на уровне физической безопасности дата-центров и разработки приложений.  

• Все данные по умолчанию шифруются в хранилище Яндекс Клауд.  

• Платформа обеспечивает безопасность как на уровне облака, так и на уровне приложений.  

• Сервисы безопасности включают в себя инструменты для обеспечения безопасности сервисов и приложений.  

• Платформа прошла сертификацию по уровню УЗ-1, что позволяет хранить и обрабатывать персональные данные.  

• Платформа также имеет сертификат 57580 от ЦБ, обеспечивающий безопасность финансовых операций.  

• Платформа находится в реестре российского программного обеспечения.  

• Вопрос о безопасности репозитория: ответ не готов, необходимо прочитать официальную коммуникацию.  

• Вопрос о повышенных частотах процессоров: доступны в ближайшее время, но пока только для закрытого тестирования.  

• Вопрос о возможности попасть на экскурсию в дата-центры: запись на ближайшие окна, но на майские праздники пока не готов ответить.  

• В видео обсуждается тема облачных сервисов, включая их различные компоненты и технологии.  

• В команде есть специалисты по дата-инженерии, дата-аналитике и дата-сайнс, которые регулярно сертифицируются и имеют сертификаты по различным облачным платформам.  

• В видео объясняется разница между различными уровнями сервиса, включая базовый, средний и высокий.  

• Упоминается, что базовый уровень сервиса имеет уровень доступности 99.95%, а средний уровень - 99.99%.  

• Внутри облачных сервисов можно улучшить уровень сервиса с помощью настроек, таких как резервирование данных и быкап.  

• В работе с облаками возникает вопрос о том, как реализовать новое решение с нуля или переехать на новые платформы.  

• Если решение реализуется на классических серверах, то это требует владения серверами, стоимости владения, администрирования и управления.  

• Для реализации хранилища данных или аналитической системы может потребоваться отдельное оборудование.  

• Важным моментом является сайдинг - запас мощности оборудования для пиковых нагрузок.  

• Если сервис имеет уровень надежности данных 99.95%, но данные могут быть повреждены, то необходимо иметь вторичные или третичные копии данных на других серверах или площадках.  

• Это обеспечивает доступность данных даже при падении сервиса.  

• Объем данных в компаниях растет из года в год, но большинство компаний не используют эти данные.  

• Данные являются статьей затрат для бизнеса, так как их нужно хранить, обрабатывать и защищать.  

• Компании могут монетизировать свои данные, если они будут использоваться для принятия решений и увеличения прибыли.  

• В платформе данных Яндекса используются сервисы для извлечения данных из источников, такие как Extract Transform Load (ETL) и Extract Load (ELT).  

• ETL используется для пакетной передачи данных, а ELT - для реал-тайм передачи.  

• Для работы с большими объемами данных используются сервисы, такие как Greenplum и Messaging Parallel Processing (MPP).  

• Для хранения данных используются различные типы хранилищ, такие как объектное хранилище, реляционная база данных, NoSQL база данных и Greenplum.  

• Выбор типа хранилища зависит от задач и объема данных.  

• Для работы с большими объемами данных используются сервисы, такие как Greenplum и Messaging Parallel Processing (MPP).  

• Данные обрабатываются с помощью различных сервисов, таких как Data Prock, Spark, Hadoop, и других.  

• Данные могут быть обработаны как на уровне источника, так и на уровне биг дата компьютера.  

• Обработка данных может быть использована для поиска инсайтов, построения прогнозов и оптимизации бизнес-процессов.  

• Данные могут быть визуализированы и использованы для конечного пользователя.  

• Данные могут быть монетизированы путем оптимизации бизнес-процессов, динамического ценообразования и маркетинговых кампаний.  

• Корпоративное хранилище данных может быть настроено с помощью различных сервисов, таких как Data Prock, Apache Spark, и других.  

• Стоимость сервисов может быть рассчитана заранее с помощью калькулятора.  

• Оптимизация стоимости может быть достигнута путем оптимизации спецификации и выбора наиболее подходящих сервисов.  

• Видео обсуждает референсную архитектуру для корпоративного хранилища данных, которая может быть использована для репликации операционной СУБД в облако для аналитики или для миграции с устаревшего оборудования.  

• Архитектура включает в себя различные сервисы, такие как Kafka, Greenplum, Clickhouse, и другие, для обработки и хранения данных.  

• Видео также обсуждает различные сценарии использования этой архитектуры, включая миграцию в облако, корпоративное хранилище данных, и самостоятельную бизнес-аналитику.  

• Видео демонстрирует примеры реализованных проектов, которые используют эту архитектуру, включая миграцию данных с устаревшего оборудования в облако и реализацию корпоративного хранилища данных.  

• Видео также обсуждает различные сценарии использования этой архитектуры, включая безопасную миграцию данных, корпоративное хранилище данных, и самостоятельную бизнес-аналитику.  

• Видео предлагает заполнить анкету обратной связи для сбора информации о том, насколько релевантен контент для зрителей, и какие дополнительные шаги могут быть предприняты для реализации проектов на основе этой архитектуры.  

• Если зрители готовы ответить на анкету, видео предлагает провести с ними следующие шаги, включая обсуждение задач, требований и архитектуры будущего решения.  

• Максим Синицын обсуждает возможность интеграции с OneDrive и работу с данными из этого сервиса.  

• Он объясняет, что OneDrive хранит данные в своей собственной структуре, и работа с ними не отличается от работы с другими источниками данных.  

• Игорь Белов задает вопрос о безопасности и утечках данных.  

• Максим Синицын отвечает, что в большинстве случаев утечки происходят изнутри компании, а не из-за хакерских атак.  

• Он предлагает обратиться к отделу информационной безопасности для получения дополнительной информации.  

• Максим Синицын завершает вебинар, благодарит за внимание и предлагает оставить свои контакты для дальнейшего общения.