Greengage DB новый Greenplum

• Дмитрий Плужников, директор архитектуры и разработки, расскажет о мерах, предпринятых Arena Data, и новом опен-сорс продукте.  

• Дмитрий будет представлен и представит новый продукт.  

• Дмитрий приветствует участников и объясняет, что будет удаленно.  

• В следующей секции будут архитекторы, присутствующие в зале.  

• Возможность задать вопросы как в офлайн, так и онлайн форматах.  

• Обсуждение будущего геймплана и его развития как открытого продукта.  

• Дмитрий представляет себя и свою команду из более чем 120 профессионалов.  

• Фокус на консортном геймплане, который является основой продукта.  

• Мейтейнер перестал принимать изменения от российских разработчиков.  

• Возможность вносить изменения оставалась, но из других юрисдикций.  

• Arena Data адаптировалась к ситуации, разработав бесплатный форк геймплана.  

• В мае 2024 года Broadcom заархивировала исходный код геймплана на GitHub.  

• Открытая версия геймплана больше не будет обновляться.  

• Это вызвало недоумение и удивление среди разработчиков и пользователей.  

• Сравнение с ситуацией, когда парк внезапно стал частным.  

• Все прошлые вложения и заботы о парке теперь ничего не значат.  

• Необходимость искать новый парк, что может быть менее удобным.  

• Объединение усилий с другими крупными контрибьюторами.  

• Плюсы: широкая поддержка, повышение доверия, совместная экспертиза, снижение затрат на разработку.  

• Минусы: неравномерное распределение ответственности, сложности в координации, разнородная экспертиза, удлинение сроков принятия PR.  

• План А не сработал из-за различий в видении развития проекта.  

• Arena Data не против взять на себя многие задачи, но это приведет к неравномерной нагрузке.  

• Объединение с компаниями, для которых геймплан не является приоритетом, не является оптимальным решением.  

• Форк требует значительных ресурсов: команда архитекторов, бюджет, инфраструктура.  

• Поддержка обратной совместимости и тестирование требуют дополнительных затрат времени.  

• Риск технического долга: необходимость жертвовать качеством кода ради сроков.  

• Единая точка управления командой: свобода действий и максимальная гибкость.  

• Гибкость принятия решений и оперативное реагирование на запросы клиентов.  

• Возможность быстрого выпуска релизов и оперативного исправления багов.  

• Регулярное обновление документации и контроль над качеством пиара.  

• Возможность минимизировать риски и быстро реагировать на проблемы.  

• Приверженность консорциуму: открытый обмен наработками и улучшениями.  

• Сравнение с басней Крылова: щука — Greenplum, партнеры — клиенты, лебедь — комьюнити, сторонники.  

• Секрет успеха: каждый делает свое дело, дополняя друг друга.  

• Исследование возможностей и развитие Greenplum.  

• Создание независимого консорциумного продукта Greenplum.  

• Начальный этап разработки: создание репозиториев и инфраструктуры.  

• Настройка процессов: юнит-тесты, интеграционные тесты, перф-тесты.  

• Взаимодействие с сообществом: выкладка обновлений, ведение тикетов.  

• Распределение ролей: майнтейнер, технический комитет, технический ряд.  

• Возможность участия сообщества в техническом комитете.  

• Детальная информация о взаимодействии участников будет опубликована позже.  

• Рассмотрены популярные консорс-лицензии: GPL, Apache 2.0 и MIT.  

• GPL требует, чтобы все производные работы также были выпущены по лицензии.  

• Apache 2.0 позволяет использовать, изменять и распространять код с четким обозначением изменений.  

• MIT самая либеральная лицензия, главное - оставить оригинальное уведомление об авторских правах.  

• Apache 2.0 включает патентное право, что защищает от патентных претензий.  

• Позволяет использовать код в проприетарных продуктах, сохраняя уведомление об авторстве.  

• Баланс свободы и контроля: можно использовать код в проприетарных продуктах.  

• Работа с контрибьюторами через платформу для сбора фидбека и обсуждения.  

• Живое общение в Discord и выделенный канал в Telegram.  

• Сайт с документацией и техническим блоком.  

• Первичная оценка кода в течение трех дней.  

• Рассмотрение и принятие кода в зависимости от сложности: простой - до недели, средний - до четырех недель, сложный - до восьми недель.  

• Зеркалирование репозитория на локальный сервер для независимости от GitHub.  

• Проблемы с зависимостью от GitHub: медленное принятие кода и отсутствие функционала.  

• Гринч будет развиваться независимо от стрима, внедряя новые фичи.  

• Гринч 6 будет основан на 6-м геймплее, Гринч 7 - на 7-м, Гринч 8 - полностью уникальный функционал.  

• Гринч будет основой для Adb, который также будет основан на Apache 2.0.  

• Adb будет иметь свои уникальные функции и преимущества.  

• Поддержка обновленной версии ядра PostgreSQL.  

• Обратная совместимость минорных версий критически важна для бизнеса.  

• Обратная совместимость минорных версий важна для безболезненного перехода на новые версии.  

• Несовместимость минорных версий может привести к потере данных и затратам на переделки.  

• Здание ВПЛ-6 состоит из девяти этажей, работает в продакшене.  

• ГРП-7 символизирует переход на обновленную версию PostgreSQL 12.  

• ГРП-14 выглядит хаотично и требует серьезных проверок безопасности.  

• Переименование продукта Green Gage, запуск первой версии сайта.  

• Подготовка к выпуску первой версии документации.  

• Публикация дорожной карты, обновление каждые полгода.  

• В первом квартале 2025 года: миграция с Greenplum на Green Gage.  

• Во втором квартале 2025 года: подготовка к обновлению PostGres.  

• В третьем квартале 2025 года: имплементация PGA аудита и улучшение безопасности.  

• В четвертом квартале 2025 года: обновление версии PostGres и добавление новых фич.  

• Поддержка формата Wasm для совместимости с инструментами экосистемы.  

• Поддержка современных форматов для упрощения взаимодействия с другими вычислительными движками.  

• Поддержка двух версий Greenplum: 6 и 7 для обеспечения надежности системы.  

• Целевая версия PostGres: 16.  

• Green Gage 8 планируется к выпуску в первом квартале 2026 года.  

• Активное участие в разработке ядра с 2017 года.  

• Внесли более 150 патчей, из которых 36 значимых изменений.  

• Обучаем молодых разработчиков в области баз данных.  

• Программа аренды дата помогает освоить системное программирование.  

• Сильные системные архитекторы и разработчики.  

• Более 7 лет работы с консорциумом и более 10 продуктов на основе PostgreSQL.  

• Инсталляции, работающие у заказчиков годами.  

• Делимся экспертизой на Хабр и в техническом блоге.  

• Планируем выпускать статьи о Greenplum и других технологиях.  

• График хайп-циклов помогает принимать решения о внедрении новых технологий.  

• Стадии: информационный триггер, ажиотаж, пик завышенных ожиданий, спад разочарования, просветление, плато продуктивности.  

• Greenplum находится на стадии спада разочарования, но имеет потенциал для улучшения.  

• 83% компаний планируют переносить работу из публичных в частные облака.  

• Частные облака позволяют контролировать данные и приложения.  

• Публичные облака могут вернуться в моду, но частные облака остаются актуальными.  

• Greenplum предлагает централизованное управление и проверенное решение.  

• HAWQ требует развертывания и настройки каждого компонента отдельно, что усложняет управление.  

• Выбор между проверенным и гибким решением зависит от конкретной ситуации.  

• HAWQ включает компоненты, необходимые для построения распределенной базы данных.  

• Используются современные форматы данных, такие как Iceberg и Parquet.  

• Продукт соответствует признакам архитектуры HAWQ.  

• Метаданные хранятся в мета.  

• Поддержка нескольких движков запросов: хайф спарка, баллов и апачи.  

• Управление ресурсами построено на ярнее.  

• Доступ к данным через интерфейсы, такие как хьют.  

• Лучшее решение - найти баланс между двумя мирами.  

• Компоненты распределены между командами Java и Python.  

• Приверженность консорс.  

• Команды: ядро, утилитамид, вдв, пам.  

• Взаимодействие команд разработки продуктов.  

• Роли от руководителя разработки до специалистов по качеству.  

• Гибкость и ориентация на нужды сообщества.  

• Девелопер-адвокат помогает разработчикам и популяризирует продукт.  

• Основная задача - понимание потребностей сообщества и развитие системы.  

• Разработка архитектурных стандартов.  

• Рассмотрение предложений по изменению пиар на архитектурное соответствие.  

• Формирование архитектурного видения продукта.  

• Поддержка открытого диалога с сообществом.  

• Исследования по улучшению загрузки и выгрузки данных.  

• Оптимизация движка запросов.  

• Исследования новых подходов для повышения эффективности обработки данных.  

• Прочная документация, ориентированная на консор-сообщество.  

• Поддержка и обновление документации с учетом потребностей клиентов и партнеров.  

• Команда разработки разделена по ролям и задачам.  

• Андрей Шитов, архитектор.  

• Андрей Савицкий, ведущий северный архитектор по продукту адб.  

• Участие в архитекторном комитете и развитие грин гейджа.  

• Призыв присоединиться к сообществу и обсуждениям.  

• Посещение сайта для ознакомления с род-мэпом и изменениями продукта.  

• Благодарность за внимание и приглашение на следующие конференции.