Yandex Data Proc. Управление кластерами Apache Hadoop® в Яндекс.Облаке

• Видео рассказывает о новом сервисе Яндекс Дата Прок, который предоставляет возможность создания дата-лейка для обработки больших данных в облаке.  

• Сервис предлагает преимущества облачной платформы, такие как эластичность, возможность наращивания и схлопывания мощностей, разделение хранения и обработки данных.  

• Сервис состоит из трех типов узлов: мастер, дата-ноты и стейт-стейтс-узлы.  

• Мастер имеет полный рутовый доступ для установки дополнительных патчей и кастомизации работы узлов.  

• Ограничения на этапе превью: невозможность создания ячеек конфигурации для мастера, отсутствие публичных адресов на узлах, тарификация по ресурсам, используемым кластерами.  

• Демонстрация создания кластера с использованием сервиса Яндекс Дата Прок.  

• Мастер развернут, дата-ноты созданы, стейт-стейтс-узлы будут развернуты в процессе работы.  

• В видео обсуждаются тестовые данные, которые можно использовать для тестирования работоспособности сервиса.  

• Создается кластер в облаке, включающий мастер-хост и дата-ноды.  

• Подключение к кластеру осуществляется через бастионный хост.  

• Демонстрируется работа с кластером через консоль запелена и через искровые запросы.  

• В планах поддержка ходу третьей версии, кафка как сервис, пользовательские образы и интеграция с другими сервисами.  

• В кластере добавлены узлы, время выполнения последней задачи увеличилось, но не значительно.  

• Время пересылки данных до компьютера занимает больше времени, чем экономия за счет большего количества вычислительных ресурсов.  

• Презентация завершена, можно перейти к вопросам.  

• Вопросы касаются использования сервиса для мастер-ноды, нейм-ноды и других подкластеров.  

• Поддержка кафки будет добавлена в будущем.  

• Бизнес-сценарии использования: обработка данных, телеметрия, логи, стриминговые данные.  

• Техподдержка доступна через телеграм-бот, почту и сайт.