Redis python based cluster. Вебинар от Яндекс.Практикума

• Приветствие и извинения за технические проблемы.  

• Представление Ильи, наставника курса по Python.  

• Описание курса: создание онлайн-кинотеатра с использованием микросервисов.  

• Задача курса: пиар в социальных сетях с использованием минификации ссылок.  

• Использование простого стека: FastAPI, Redis, Pydantic.  

• Проблема с масштабированием Redis на одной серверной железке.  

• Важность оптимизации и утилизации данных перед масштабированием.  

• Переход к академической стороне вопроса: работа Redis-кластера.  

• Введение в распределенные системы и их важность.  

• Определение распределенной системы и её свойства.  

• Пример с веб-сайтом и его распределенностью.  

• Определение консистентности данных.  

• Примеры целостности и согласованности данных.  

• Важность непротиворечивости данных.  

• Понятие линеаризации и её важность.  

• Пример с футбольным матчем и лидер-нодой.  

• Проблемы с консистентностью и их решение.  

• Введение в партишин толеранс.  

• Важность синхронных и асинхронных репликаций.  

• Обсуждение референсов и дальнейших шагов.  

• Разделение сети приводит к созданию двух контуров.  

• Каждый контур должен решать, как работать с консистентностью и доступностью.  

• Система должна знать, как работать в таких условиях.  

• Доступность: система отвечает без ошибок, но не всегда быстро и с самыми свежими данными.  

• Теорема CAP утверждает, что можно выбрать только два свойства из трех.  

• Примеры систем, которые пытаются покрыть два свойства одновременно.  

• Синхронная репликация: лидер и фолловер жестко связаны, что делает систему неустойчивой к сети.  

• Асинхронная репликация: данные могут быть устаревшими, но система продолжает работать.  

• Выбор между синхронной и асинхронной репликацией зависит от требований к консистентности и доступности.  

• Теорема CAP: выбор между консистентностью и доступностью при разделении сети.  

• Теорема PASIL: выбор между консистентностью и скоростью ответа даже при отсутствии разделения сети.  

• Примеры систем, выбирающих разные свойства в зависимости от ситуации.  

• Системы, выбирающие консистентность: банки, самолеты.  

• Системы, выбирающие доступность: пей-эль системы, например, Amazon в черную пятницу.  

• Промежуточные системы, такие как MongoDB, выбирают консистентность при разбиении сети и доступность в нормальных условиях.  

• Redis нельзя рассматривать как часть CAP-теоремы, так как это однонодовая система.  

• Для применения CAP к Redis нужно рассматривать его как часть распределенной системы хранения данных.  

• Вопрос к слушателям о том, как Redis вписывается в CAP-теорему.  

• Redis используется как кэширующий слой, реже как кэш.  

• Redis активно развивается, недавно добавили Raft.  

• Планируется разобрать Raft в курсе.  

• Redis активно развивается, но есть вопросы по его использованию.  

• Планируется использовать Redis в асинхронной MPI.  

• Обсуждение механизма работы с нодами и их масштабирования.  

• Redis был разработан в 2007 году, но не все компании активно его используют.  

• В России мало компаний, которые активно развивают Redis.  

• Обсуждение устойчивости Redis к разделению и его поведения в сети.  

• Обсуждение устойчивости Redis к разделению и его поведения в сети.  

• Введение системы вопросов и ответов для участников.  

• Обсуждение выбора между APM и Raft для Redis.  

• Redis устойчив к разделению и допускает нарушения линейной консистентности.  

• Обсуждение добавления Raft и других функций в Redis.  

• Важность проверки и доработки кода в процессе разработки.  

• Распределенные системы требуют консистентности.  

• Аналогия с островами и мостами помогает понять работу серверов.  

• Острова живут по своим законам, но хотят влиять на общие правила.  

• Синхронная репликация требует, чтобы все данные были доставлены всем серверам одновременно.  

• Аналогия с носильщиками помогает понять, как данные передаются между серверами.  

• Важно понимать, что есть консенсус на чтение и запись.  

• В обычных базах данных есть только консенсус на запись.  

• В распределенных системах требуется консенсус на чтение и запись.  

• Важно определить, сколько серверов должно подтвердить изменения для обеспечения консистентности.  

• Алгоритм Paxos был создан для обеспечения консистентности и устойчивости к разделению.  

• Все алгоритмы, такие как ZKP и Raft, сводимы к Paxos.  

• Paxos позволяет работать с распределенными системами, обеспечивая консистентность и устойчивость.  

• Raft — это простой алгоритм, который можно использовать для обеспечения консистентности.  

• Raft используется в системе хранения ключей GPG.  

• Изучение алгоритма Paxos и его реализации может быть полезным для понимания работы распределенных систем.  

• Реализовывать свой РАХ сложно, но можно попробовать в рамках подпроекта.  

• Механизм кластера можно попробовать сделать с РАФом.  

• Это может быть полезно для собеседования или демонстрации навыков.  

• Обсуждение вопросов и тестирование.  

• Вопросы могут быть связаны с контролами и доступностью ресурсов.  

• Переход к следующей теме и обсуждение Яндекс Практик.  

• Работа с кодом и сервисами, которые уже существуют.  

• Пример сервиса, который минифицирует ссылки и разворачивает их при переходе.  

• Обсуждение использования Docker и Docker Compose.  

• Объяснение, что Docker не является виртуальной машиной, а системой контейнеризации.  

• Docker Compose облегчает взаимодействие сервисов.  

• Документация и использование Docker и Docker Compose.  

• Запуск Docker и Docker Compose.  

• Использование Python и pip для установки зависимостей.  

• Обзор Docker Compose и его файлов.  

• Введение в FastAPI, современный асинхронный фреймворк на Python.  

• Преимущества асинхронности и её влияние на производительность.  

• Обсуждение синхронных и асинхронных фреймворков в контексте производительности.  

• Подведение итогов и обсуждение асинхронных фреймворков.  

• Важность асинхронности в современных сервисах.  

• Планы на дальнейшие вебинары и обсуждение асинхронных фреймворков и их использования.  

• Обсуждение создания URL и его валидации.  

• Процесс сжатия URL до хэша и записи в Redis.  

• Возвращение полного пути и хэша для редиректа.  

• Обсуждение коллизий в хэш-картах.  

• Решение коллизий с помощью добавления букв к ключу.  

• Переход к задаче выбора между несколькими Redis.  

• Переход к ветке с несколькими Redis.  

• Изменение инфраструктуры для работы с несколькими Redis.  

• Замена одного Redis на несколько в Docker-compose файле.  

• Разделение бизнес-логики и реализации работы с Redis.  

• Возможность замены Redis на другой бэкенд без изменения кода.  

• Пример с переходом на MongoDB.  

• Обсуждение выбора между несколькими Redis без down-time.  

• Решение задачи с использованием остатка от деления ключа на число.  

• Пример кода для выбора между Redis на основе ключа.  

• Обсуждение важности доступности сервисов без простоев.  

• В больших компаниях, таких как Авито и Яндекс, есть комитеты, следящие за доступностью.  

• В маленьких компаниях простои могут остаться незамеченными.  

• Проблема миграции данных из одного Redis в другой без простоев.  

• Обсуждение возможных решений, включая использование пайпа и логики выбора ноды.  

• Важность предотвращения блокировки и минимизации нагрузки на серверы.  

• Обсуждение возможных проблем при миграции данных.  

• Решение использовать логику выбора ноды для минимизации нагрузки.  

• Возможность отключения миграции данных через определенное время.  

• Обсуждение кластеров и балансировки нагрузки.  

• Важность распределения трафика между узлами.  

• Проблемы с динамическим изменением количества узлов и необходимость перекладки данных.  

• Обсуждение выделения сети для Docker и других сервисов.  

• Важность правильного выделения подсетей и драйверов.  

• Пример использования сети для VPN.  

• Обсуждение проблемы добавления и удаления данных в кластере.  

• Использование DynamoDB для решения этой задачи.  

• Реализация на основе Redis и выбор токенов для распределения данных.  

• Пример с ключом из восьми единиц и хэш-функцией.  

• Группы ключей: A, B, C, D.  

• Запись ключа в соответствующую ноду.  

• Простота внедрения новых нод.  

• Пример с добавлением ноды D.  

• Данные перемещаются при добавлении новой ноды.  

• Преимущества нового алгоритма.  

• Эмиграция данных и снижение нагрузки на сеть.  

• Реализация алгоритма в Amazon.  

• Обсуждение реализации и домашнего задания.  

• Важность знания Python для работы в команде.  

• Возможность использования задачи на собеседовании.  

• Обсуждение логики выбора рейтинга.  

• Возвращение к коду для анализа.  

• Обсуждение старого и нового подхода к работе с Redis.  

• Использование пула подключений для оптимизации производительности.  

• Преимущества и недостатки пула подключений.  

• Процесс установки подключения к Redis.  

• Важность переиспользования подключений для экономии ресурсов.  

• Проблемы с протуханием подключений и их влияние на производительность.  

• Преимущества использования нескольких пулов подключений.  

• Пример работы с Redis через хэш-мапы.  

• Тривиальное решение с использованием одного Redis.  

• Обсуждение пулов Redis и их индексов.  

• Определение остатка отделения для выбора нужного Redis.  

• Пример использования массива ссылок для работы с Redis.  

• Создание и передача массива ссылок.  

• Использование списка для работы с Redis.  

• Создание синглтона для управления подключениями.  

• Настройка списка URL для Redis.  

• Выбор нужного Redis по индексу.  

• Использование дефолтного Redis для получения данных.  

• Завершение обсуждения и ответы на вопросы.  

• Соединения с базой данных не должны оставаться открытыми надолго.  

• Администраторы баз данных настраивают время жизни соединений.  

• В Django и других фреймворках есть плагины для обработки длительных запросов.  

• Деление используется для определения остатка от деления.  

• Ключ в данном случае - это хэш ссылки, который преобразуется в число.  

• Преобразование строки в число необходимо для выполнения деления.  

• Порядок байтов в разных системах может быть разным.  

• В Python можно легко преобразовать строку в число.  

• В среднем, порядок байтов не имеет большого значения.  

• Фреймворк вызывает вас, а библиотека - нет.  

• Фреймворки, такие как Django и FastAPI, имеют свои преимущества.  

• Важно учитывать инфраструктуру и документацию при выборе фреймворка.  

• Синхронные фреймворки могут стать синхронными при выборе неправильной библиотеки.  

• В асинхронных фреймворках это может привести к проблемам.  

• Важно выбирать правильные библиотеки для корректной работы фреймворка.  

• Яндекс имеет интересную инфраструктуру с монорепозиторием.  

• Многие технологии, разработанные в Яндексе, становятся популярными и выходят в открытый доступ.  

• Пример: ClickHouse, который стал популярным благодаря Яндексу.  

• FastAPI имеет множество готовых библиотек и функций.  

• Валидация и миграция данных выполняются автоматически.  

• Django также предлагает аналогичные функции, но может стать монолитным проектом.  

• Микросервисная архитектура позволяет легко масштабировать и переписывать компоненты.  

• В отличие от монолитных проектов, микросервисы можно легко переписывать и тестировать.  

• Домашнее задание будет доступно в чате или в письме.  

• Литература по микросервисам включает книги и ресурсы, такие как MicroService Patterns.  

• Крис Ричардсон делится опытом и паттернами микросервисов.  

• Важно понимать, как правильно использовать микросервисы и их паттерны.  

• Курс длится шесть месяцев и включает создание онлайн-кинотеатра через микросервисы.  

• Студенты будут работать в командах, что важно для командной работы и поддержки.  

• Курс охватывает различные аспекты, включая безопасность, Big Data и веб-уведомления.  

• Студенты будут разрабатывать дипломные проекты, используя полученные знания.  

• Планируется практика архитектурных комитетов для защиты решений перед другими студентами.  

• Курс помогает студентам понять, как работать в команде и принимать решения в реальных условиях.  

• Обсуждение репликации и консистентного эширования.  

• Процесс записи данных на несколько узлов для обеспечения надежности.  

• Настройка репликации и чтение данных из нескольких узлов для проверки консистентности.  

• Вопрос о том, когда использовать монолиты и микросервисы.  

• Монолиты удобны для небольших команд, но сложны для больших.  

• Микросервисы позволяют лучше масштабировать и управлять командами.  

• Масштабирование монолитов сложнее, чем микросервисов.  

• Микросервисы позволяют легко масштабировать отдельные части системы.  

• Обсуждение авторизации и масштабирования в микросервисах.  

• Обсуждение времени, затрачиваемого на обучение и работу.  

• Курсы требуют 20+ часов в неделю для глубокого погружения.  

• Важность командной работы и разделения времени на теорию и практику.  

• Авторы курса совмещают работу и обучение.  

• Курс помогает познакомиться с преподавателями и студентами.  

• Обучение включает глубокое изучение технологий и подготовку к собеседованиям.  

• Знания, полученные на курсе, полезны для собеседований.  

• Примеры задач: работа с Amazon и Black Friday.  

• Курс включает задачи для проверки знаний и навыков.  

• Курс доступен через ссылку в описании.  

• Включает задачи для проверки знаний Python и администрирования.  

• Использование TDD для написания тестов перед кодом.  

• Возможность посмотреть решения авторов курса.  

• Обсуждение синхронных и асинхронных фреймворков.  

• Примеры использования Django и других фреймворков.  

• Переписывание кода на Go оправдано при исчерпании ресурсов.  

• Go компилируемый язык, что делает его медленнее Python.  

• Python остается предпочтительным для большинства задач.  

• Cython позволяет использовать C-библиотеки в Python.  

• Cython удобен для написания кода на Python и C.  

• Примеры использования Cython в коммерческих проектах.  

• Обещание отправить полезные ссылки и задачи в комментарии.  

• Благодарность за внимание и надежда на встречу на курсе.