Роль Tarantool в высоконагруженной архитектуре // Демо-занятие курса «Highload Architect»

• Знакомство с тарантулом, его особенностями и применением в высоконагруженных архитектурах.  

• Основные темы: внутреннее устройство тарантула, масштабирование, репликация и штирование.  

• Горячий кэш, внедрение, система аутентификации, система пуш-уведомлений, система показа рекламы.  

• Важные свойства: высокая скорость обработки запросов, высокая доступность, персистентность, безопасность.  

• Каждый инстанс имеет свою роль: извлечение данных, обработка данных, отправка уведомлений.  

• Кластер тарантула состоит из нескольких узлов, каждый из которых выполняет свою функцию.  

• В видео обсуждается архитектура и терминология Tarantool, включая пользовательские приложения, процессинговые узлы, условия, узлы обработки заданий, узлы трансформации данных и репликации данных.  

• Упоминается возможность интеграции с другими системами, такими как директоры аутентификации.  

• В видео объясняется, как создавать индексы в Tarantool, используя функцию "create index".  

• Упоминаются различные типы индексов, включая уникальные, составные и хэш-индексы.  

• Обсуждаются ограничения и рекомендации по использованию разных типов индексов.  

• В видео рассказывается о хранимых процедурах в Tarantool, которые можно использовать для выполнения пользовательских приложений.  

• Упоминается язык OScript, который используется для написания хранимых процедур и который имеет необычный синтаксис, похожий на Pascal.  

• Тарантул однопоточный, что ограничивает его возможности, но позволяет выстроить последовательное выполнение транзакций без блокировок.  

• Транзакции выполняются в одном потоке, что гарантирует атомарность выполнения.  

• Транзакции подтверждаются или откатываются в зависимости от ситуации.  

• Веб-интерфейс позволяет настраивать масштабирование, мониторинг и выполнение запросов.  

• Сравнение с другими базами данных: Redis, MinCache, Cassandra, Redis.  

• Вертикальное и горизонтальное масштабирование для повышения надежности и производительности.  

• Репликация для масштабирования чтения и шардирование для масштабирования записи.  

• Настройка ролей узлов и статуса репликации для разных вариантов использования.  

• В Tarantool можно настроить разные топологии репликации, включая каскадную, кольцо и мастер-мастер.  

• Для настройки репликации необходимо создать файл конфигурации и указать в нем, куда данные должны быть пересланы.  

• В файле конфигурации указываются порты, на которых будут слушать узлы, и информация о том, какие узлы участвуют в репликации.  

• Для настройки репликации между базами данных используется библиотека Tarantool Replicator.  

• Репликатор перетягивает данные из одной базы данных в другую, используя скрипты и мапинги.  

• Перед запуском процесса репликации необходимо инициализировать вторую базу данных.  

• Репликация может быть использована для повышения доступности и надежности данных.  

• Если объем данных слишком большой, можно использовать шардирование для разделения данных на части.  

• Для шардирования данных в Tarantool используются утилиты Tarantool Shard и Visha.  

• Visha позволяет хранить данные в одном виртуальном бакете и обеспечивает локальность данных.  

• В видео обсуждается процесс ребалансировки и переноса данных в кластере Tarantool.  

• Ребалансировка происходит через функцию "вишар", которая вычисляет идеальный баланс власти и отправляет маршруты перемещения данных.  

• Если данные уже работают с конкретным пакетом, то они будут перенесены при следующей попытке.  

• Роутер - часть "вишара", которая используется для переноса данных.  

• В случае с репликами, "вишар" автоматически переключается на другую реплику, если текущая перестает отвечать.  

• В планах "вишара" - убрать блокировки бакета при чтении, чтобы перенос данных происходил даже во время чтения.  

• В видео обсуждаются вопросы о том, приходилось ли настраивать репликацию и масштабирование для других хранилищ данных, таких как Redis, PostgreSQL и In-Memory.  

• В рамках курса будет изучаться масштабирование различных хранилищ данных, включая базы данных и аналитические хранилища.  

• Видео начинается с обзора Trapp, платформы для создания высоконагруженных архитектур.  

• Trapp позволяет создавать масштабируемые и отказоустойчивые системы, используя различные технологии, такие как субд, рест, докер и кубернетес.  

• В этом блоке обсуждаются карьерные возможности для разработчиков, использующих Trapp.  

• Вакансий много, и зарплаты варьируются в зависимости от опыта и навыков.  

• Основные навыки, требуемые для работы с Trapp, включают бэк-энд разработку, работу с субд, знание паттернов и подходов к разработке распределенных приложений, а также опыт работы с облачными платформами.