Arenadata DB и Arenadata QuickMarts - Иван Иевлев

• Иван Ивлев, продукт-менеджер компании Арендата, представляет презентацию о продукте Арендата и смежном продукте Арендата Клима.  

• Обзор ключевых особенностей Арендата, отличий от ванильной версии, изменений за год, важных компонентов продукта.  

• Планы на будущее и синергия с Адекоем.  

• Арендата - аналитическая распределенная СУБД, основанная на системе Гринпла.  

• Гринпла - зрелый проект с большим комьюнити и лицензией Apache 2.0.  

• Продукт построен поверх Гринплама, поддерживает горизонтальное масштабирование и отказоустойчивость.  

• Поддержка колоночного и нативного хранения, совместимость с PostgreSQL.  

• Федерация данных и полиморфное хранение.  

• Отличия от ванильной версии: открытая сборка, коммерческие и комьюнити редакции.  

• Коммерческая редакция включает расширенный мониторинг и возможность установки из закрытых контуров.  

• Комьюнити редакция доступна для изучения и включает компоненты для федерации данных и резервного копирования.  

• Установка через бандлы, включая компоненты для различных операционных систем.  

• Поддержка и обучение, включая документацию на русском языке и консалтинг.  

• Портирование на Альт Линукс 8.4 СП и стабилизация версии Кома-центра.  

• Реализация коннектора для дедупликации данных и доработка ядра и смежных проектов.  

• Оптимизация GCP: добавление ZTD компрессии и сортировка таблиц по размеру.  

• Анализ сторонних компонентов и выявление уязвимостей.  

• Статический анализ с использованием сертифицированного инструмента.  

• Плотная работа с облачными провайдерами, включая PaaS и SaaS.  

• Оптимизация и тестирование в облаках для эффективного развертывания.  

• 13 релизов за год, 9 из которых на GCP.  

• 48 PR за год, 50% из которых сделаны командой.  

• Команда из 8 программистов с опытом работы в базах данных.  

• Инструмент онлайн и офлайн мониторинга.  

• Аудит доступа к данным и статистика запросов.  

• Метрики CPU, RAM, чтение и запись данных.  

• Расширенный анализ через Explain.  

• Активный мониторинг и возможность отмены или переброски запросов.  

• Мониторинг транзакций и их характеристик.  

• Анонс продукта, работающего над резервным копированием.  

• Проблемы с текущим инструментом GCP Backup.  

• Разработка физического бэкапа и его особенности.  

• Клихаус как альтернатива Greenplum.  

• Адекум: анализ серверных логов и работа с широкими таблицами.  

• Улучшения в поддержке дат, оптимизаторе и планировщике.  

• Добавлена настройка логирования через ACID.  

• Возможность использования Cloudera Cluster Manager в качестве координатора.  

• Планируется поддержка множественных джойнов и разработка планировщика на основе логов.  

• Доработки будут отправляться в Cloudera, а не в мастер.  

• Планируется создание собственного сервера для мониторинга.  

• Задача по ришардингу для улучшения работы с новыми шардами.  

• Cloudera быстро развивается, но имеет ограничения для корпоративных хранилищ данных.  

• Пользователи могут столкнуться с проблемами при превышении критического числа запросов.  

• Рекомендуется использовать Adempiere вместе с Adempiere для улучшения производительности.  

• Односторонний коннектор на базе PxDF для атомарной вставки данных.  

• Использование временных таблиц для быстрого переключения данных.  

• Оптимизации для работы с множественными подключениями и асинхронная очередь.  

• Переход на FDW для улучшения транзакционности и контроля за запросами.  

• Использование конструкций User Mapping и Server для более безопасного доступа к профилям.  

• Модернизация механизма распределения нагрузки и улучшение пользовательского интерфейса.  

• Выпуск релиза 6.22.1 с улучшенными функциями резервного копирования и информационной безопасности.  

• Повышение версии Adempiere до 4.0 и модернизация пользовательского интерфейса.  

• Планы по портированию на российские операционные системы и разработка менеджера для работы с экспортами и импортами данных.  

• Вопрос о замене PxDF в Greenplum 7 для коннекта к HD3.  

• Ответ: PxDF будет переписан, но классическая версия будет существовать параллельно.  

• Плотно мониторим альфа-версию в Windows 7.  

• Планируем выпустить мажорный релиз и анализировать текущую ситуацию.  

• Интеграция с SFS E3 уже есть, но это не система резервного копирования.  

• Ведем переговоры с российскими производителями резервного копирования.  

• Планируем тестирование и объявление о выбранном решении.  

• ADBM основан на минимальном необходимом функционале.  

• Пока не рассматриваем использование SOP, DAT, DOM или RUP.  

• Поддержка ADEK пока только в рамках одной продуктовой линейки.