MPP СУБД на примере Vertica: архитектура и способы достижения производительности / А. Скоробогатов

• Вертик - это база данных с большим количеством аналитических функций, машинным обучением и работой с временными рядами.  

• Вертик поддерживает полностью ANSI SQL и дебси-деби драйверы.  

• Вертик позволяет обрабатывать данные распределенно, собирать результаты и обеспечивать полную доступность данных.  

• В облаках данные разделены на шарды, каждый узел подписан на свой шар и на шар своего соседа.  

• В случае отказа узла, данные восстанавливаются из общего хранилища.  

• Вертик позволяет динамически добавлять и удалять узлы, что ускоряет обработку данных.  

• Субкластеры позволяют разделять нагрузки и управлять ресурсами для более точного управления нагрузкой.  

• Обеспечение быстрого запуска субкластеров, консистентность данных между субкластерами и управление нагрузкой.  

• Обеспечение высокой степени изоляции между субкластерами для управления разными нагрузками.  

• В кластере есть две части каталога: глобальная и разделяемая.  

• Глобальная часть каталога синхронизируется на всех узлах, разделяемая часть связана с подпиской на данные из коммунального хранилища.  

• Задача: увеличить скорость включения субластеров в кластер, так как включение субластеров требует глобальной блокировки.  

• Глобальные блокировки возникают на операциях изменения топологии, схемы и комита.  

• Сокращение времени владения глобальной блокировкой и улучшение времени доставки данных внутри кластера.  

• Спред - системантированной доставкой управляющих сообщений, но имеет недостатки: однопоточность, забивание сети при интенсивных обменах данными.  

• Трансфер-сервис - новый сервис для передачи данных, основанный на тисипи протокол, гарантирует последовательность передачи данных, нет браткастов и мультикаст.  

• Глобальные блокировки останавливают исполнение всех запросов, изменяющих данные, включая определение схемы и демельки.  

• Оптимизм: если работа не удалась, можно сделать рулбек (откат) и продолжить работу.  

• Время удержания глобальной блокировки сокращается на время причеков дополнительных проверок.  

• В докладе обсуждается проблема длинных очередей на получение глобальных каталогов и таймаутов в работе с данными.  

• Эксперимент с 96 узлами в суперкластере показал, что максимальное время ожидания глобальной блокировки сократилось с 30 минут до 57 секунд.  

• Докладчик сравнивает Vertica с другими базами данных, такими как ClickHouse, Redshift, Snowflake и BigQuery.  

• Vertica показывает хорошую производительность и синергию с другими базами данных.  

• Avito, Uber, Facebook, игровые компании и другие компании используют Vertica для аналитики и модернизации хранилищ данных.  

• Vertica подходит для различных классов систем, включая управление, управление фроду и предобъективную аналитику.  

• В видео обсуждается, что если нужно больше копий, то на каждом узле будет больше приятелей.  

• Упоминается удивительный звонок от заказчика, когда из девяти узлов виртуальной инфраструктуры скончались четыре.  

• Обсуждается возможность настройки группировки друзей бади таким образом, чтобы они попадали в разные фол домены, что позволяет пережить большее количество отказов.  

• Упоминается, что архитектурно есть возможность собрать фол домены, которые позволят пережить большее количество отказов.  

• Обсуждается, что один узел может иметь один, два, три или только один друг, и что нет смысла иметь больше двух друзей на одном узле.