Распределенная ИТ-инфраструктура и big data.

• Андрей Кузин, операционный директор Позитива, рассказывает о поддержке бизнеса внутри компании.  

• Мероприятие ПХС изначально было закрытым, но с прошлого года стало городским киберфестивалем.  

• В этом году ПХС включает четыре трека, посвященные различным бизнес-проблематикам.  

• Компания растет, что создает проблемы с инфраструктурой и хранением данных.  

• Потеря доступа к иностранным технологиям усилила необходимость в новых решениях.  

• Цель - повысить эффективность использования инфраструктуры до 90+%.  

• Презентация включает бизнес-трек и технические аспекты.  

• Проблема роста инфраструктуры в быстрорастущих компаниях.  

• Использование публичных облаков для быстрого тестирования гипотез.  

• Проблемы с контролем и тратами при использовании облаков.  

• Различия в архитектурах между локальными и облачными инфраструктурами.  

• Решение: гибридная инфраструктура как сервис, позволяющая гибко управлять ресурсами.  

• Компания активно работает с данными, включая внешние источники.  

• Цель - сделать процесс работы с данными максимально удобным и эффективным.  

• Цель - быстрее проверять гипотезы и находить работающие решения.  

• Рассматриваются три варианта инфраструктуры: выделенная, общая и облачная.  

• Выделенная инфраструктура имеет плюсы в виде полного контроля, но минусы в виде сложности масштабирования и утилизации ресурсов.  

• Общая инфраструктура позволяет переиспользовать ресурсы, что упрощает управление и масштабирование.  

• Облачная инфраструктура обеспечивает гибкость и масштабируемость, но может быть сложной для перехода.  

• Гибридная облачная инфраструктура позволяет использовать общие сервисы и ресурсы.  

• Проблемы с масштабированием и эластичностью потребления ресурсов в случае с Hadoop.  

• Hadoop требует постоянного развертывания узлов, что снижает эластичность потребления ресурсов.  

• Зависимость от вендора или сложности поддержки собственной сборки.  

• Переход на облачную инфраструктуру с использованием Kubernetes и S3 для автоматизации и гибкости.  

• Обсуждение проблем и решений для инфраструктуры больших данных.  

• Призыв к участникам дискуссии представлять свои компании и предложения.  

• Алексей Пятов из компании Вике в Тех отвечает за развитие бизнеса платформы данных и машинного обучения в облачном провайдере Вике Клауд.  

• Он отмечает, что выбор между только облаком или только on-premise не является абсолютным.  

• Большинство компаний предпочитают гибридный подход, сочетающий преимущества обоих решений.  

• В некоторых отраслях, таких как банковская и промышленность, данные нельзя просто перенести в облако без предварительной обработки.  

• Необходимы методы токенизации для безопасного переноса данных в облако.  

• Крупные компании стремятся к гибридной структуре, где данные защищены на локальном уровне и могут быть мгновенно масштабированы в облако.  

• Алексей Чадаев утверждает, что на поле битвы есть три стороны: вы, ваш противник и время.  

• Важно опережать конкурентов, используя ресурсы для проверки бизнес-гипотез и масштабирования.  

• Абсолютизация развилки между облаком и on-premise вредна; нужно брать лучшее от обоих решений.  

• Вике в Тех решил использовать открытые инструменты, такие как PostgreSQL и Jupyter Hub, чтобы обеспечить гибкость для клиентов.  

• Компании ценят возможность миграции между облаком и локальной инфраструктурой.  

• Компромиссный подход позволяет компаниям оставаться с Вике в Тех на долгосрочной основе.  

• Безопасность данных зависит от безопасности инфраструктуры и организационного подхода.  

• Разделение расчетного движка и места хранения данных делает систему более отказоустойчивой.  

• Данные в объектном хранилище с тройной совместимостью практически невозможно потерять.  

• Облака воспринимаются как эфемерные и гибкие.  

• Облака делятся на три базовых конструкта: SaaS, PaaS и IaaS.  

• Бизнес выбирает, каким конструктом пользоваться, в зависимости от целей.  

• Виртуальные машины требуют сетей передачи данных и хранилищ.  

• Инфраструктурные слои обеспечивают скорость, надежность и минимизацию рисков.  

• Важно правильно управлять облачными мощностями и выстраивать архитектуру.  

• Отказ-устойчивость важна для инфраструктуры и приложений.  

• Проблемы вендор-лока возникают при переходе на другого провайдера.  

• Важно учитывать надежность и защищенность каналов связи.  

• Гибридная инфраструктура требует отказоустойчивых решений.  

• Облака позволяют выбирать между разными операторами связи.  

• Нет универсальной волшебной таблетки для обеспечения безопасности и гибкости.  

• Облака помогают строить сложные продукты и решения.  

• Важно предлагать инструменты для автоматизации и управления.  

• Универсализация подходов между публичным и частным облаками упрощает гибридную инфраструктуру.  

• Вендор-лок может быть проблемой при переходе на другие облака.  

• Важно развивать гибридную инфраструктуру для использования различных облачных провайдеров.  

• Универсальные подходы могут помочь в создании единой ИТ-инфраструктуры.  

• Компания стеснена геополитической обстановкой, как и другие игроки.  

• В начале развития продукта ориентировались на слой IP, предложенный компанией.  

• Поддерживали базовые функции взаимодействия с хранилищем на уровне точки входа.  

• Продукт поддерживает стандартные вызовы, такие как ADBL.  

• Компания не использует коробочные решения, но прирастает в функционале.  

• Стараются минимально изменять функциональные слои для бесшовной интеграции.  

• Примеры клиентов с гибридной архитектурой хранения данных.  

• Один крупный заказчик успешно перенес продуктивную нагрузку в облако.  

• Использование PaaS-сервиса для корпоративного хранилища данных.  

• Бизнес-запросы включают удовлетворение пользователей и минимизацию стоимости решения.  

• Гибкость и автоматизация управления ресурсами между облаками.  

• Важность равномерного использования инструментов и их удобства для пользователей.  

• Создание внутреннего решения для хранения и анализа больших данных.  

• Вовлечение большего числа сотрудников в использование инструментов.  

• Прозрачность затрат и ресурсов для повышения операционной эффективности.  

• Крупные игроки стремятся интегрировать облачные решения для бизнеса.  

• Это позволяет выстроить финтех-фенопс решение, интегрирующее различные инфраструктуры.  

• Прозрачность для сотрудников финансового департамента.  

• Мультиоблачная инфраструктура требует прозрачности и аналитики.  

• Разные облачные провайдеры могут создавать сложности.  

• Важно, чтобы продукт предоставлял интерфейсы для получения необходимой информации.  

• Мультиоблачная инфраструктура обеспечивает конкурентную поляну между провайдерами.  

• Прозрачность расходов и создание единого дэшборда затрат.  

• Сравнение уровня сервиса между провайдерами.  

• Вопрос о стеке технологий на внутреннем облаке.  

• Использование OpenStack и классических систем виртуализации.  

• Автоматизация и гибритизация с помощью собственного сервиса.  

• Использование OpenStack и Kubernetes.  

• Выбор между различными движками данных: Flume, Spark, Trino.  

• Разработка собственного решения для Trino.  

• Гибкость между on-premise и облачными решениями.  

• Масштабирование через Kubernetes и автоскейлинг.  

• Использование технологий, доступных везде, включая OpenStack.  

• Разработка собственного решения для автоматизации.  

• Использование стандартных инструментов для развертывания.  

• Объединение автоматизации в единую структуру для упрощения поддержки.  

• Open-source инструменты полезны, но требуют доработки для использования в бизнесе.  

• Разработчики из крупных компаний вкладываются в доработку open-source инструментов.  

• Необходимо автоматизировать развертывание и добавить дополнительные функции для эффективной работы.  

• Крупные компании стремятся упростить доступ к облачным сервисам для своих сотрудников.  

• Простое окно для доступа к ресурсам решает множество проблем для сотрудников с разным уровнем навыков.  

• Завтра будет рассказано о новом инструменте для упрощения работы с облачными сервисами.  

• Данные доставляются в облако по необходимости, а не все сразу.  

• Используются приватные облака для обработки данных.  

• В 2024 году высокоскоростные сети делают узким местом IO.  

• Крупные игроки предлагают эксклюзивные сервисы для интеграции с сервисами.  

• Цель – гарантированный канал связи и эксклюзивная интеграция.  

• Высокоскоростной доступ к данным в облаке снижает задержку на инпутапу.  

• Нет однозначного ответа, что дешевле: собственная команда админов или облачные сервисы.  

• Важно учитывать расходы на инженеров, оборудование, электроэнергию и информационную безопасность.  

• Решение зависит от характера бизнеса и готовности компании нести расходы.  

• Оборудование требует регулярного обслуживания и замены.  

• Рынок стабилизировался, но проблемы с поставками могут возникать.  

• В 2022 году некоторые компании столкнулись с необходимостью замены оборудования по высоким ценам.