Шардирование с нуля до Яндекс Диска. Андрей Колнооченко.

• Шардирование может быть необходимо, когда данные не помещаются в один инстанс или когда метрики доступа к базе данных начинают проседать.  

• Шардирование может привести к проблемам с эксплуатацией, ришардингом, миграцией данных и распределенными транзакциями.  

• Шардирование может быть встроенным в базу данных, на уровне приложения или на уровне микросервиса.  

• Варианты алгоритмов шардирования включают остаток отделения на количество шардов, геоориентацию, консистент хэшинг, разделение значения ишей ключей на диапазоны и хэшмапу.  

• Яндекс Диск перешел от встроенного шардирования к ручному, когда столкнулись с проблемами роста и эксплуатации.  

• Решение проблем включает автоматизацию рутинных операций, миграцию данных и учет нагрузки на базу данных при вводе нового шарда.  

• В видео обсуждается шардирование базы данных и его преимущества.  

• Шардирование позволяет распределить нагрузку между несколькими шардами, что повышает производительность и масштабируемость системы.  

• Координатор шардов - это специальная служба, которая управляет шардами и обеспечивает их взаимодействие.  

• Он хранит информацию о том, где живут пользователи, и решает, куда отправлять запросы.  

• В видео обсуждаются вопросы миграции данных и метрики.  

• Миграция данных происходит быстро и автоматически, а метрики помогают отслеживать нагрузку на шарды и принимать решения о перемещении пользователей.  

• В случае обнаружения проблем с нагрузкой на шард, метрики помогают выявить проблему и принять меры.  

• Андрей обсуждает, как они реагируют на увеличение нагрузки на серверы, используя метрики для определения подходящего профиля конфигурации.  

• Он также упоминает, что они используют PostgreSQL для хранения данных, и что они перенесли данные с MongoDB на PostgreSQL около шести лет назад.  

• Андрей отвечает на вопросы о том, как реализованы общие папки и как они хранят данные для общих папок.  

• Он также обсуждает, как они обрабатывают гео-привязку и территориальное распределение хранилища данных, если владелец файлов переезжает.  

• Андрей объясняет, что координатор является общим для нескольких сервисов и был разработан до того, как у команды облака появился свой координатор.  

• Он также упоминает, что координатор является самописным и имеет дополнительную бизнес-логику для работы с пользователями.