Валерий Торопов — Spring Data Redis как неудачное решение

• Александра Лужкова и Валерий Торопов представляют тему о Redis.  

• Валерия занимается Redis последние полтора года, особенно углубленно - последний год.  

• Решение, о котором пойдет речь, уже в продакшене.  

• Валерия работает в компании Аксенникс более семи лет.  

• Задача: разработать систему слежения за компонентами на производстве.  

• Сервис генерации должен агрегировать данные и сохранять их в Redis.  

• Рассмотрены варианты взаимодействия с Redis: Jedis, Let's, RedisStripe, Spring Data Redis.  

• Выбран Spring Data Redis из-за его удобства и скорости.  

• Spring Data Redis предоставляет удобные репозитории и абстракции.  

• Рассматривается структура хранения объектов в Redis.  

• Важность индексов и их роль в работе с данными.  

• Взаимодействие с базой данных через Spring Data Redis.  

• Команды для работы с множествами и хэшами.  

• Команды для получения и удаления значений.  

• Команды для работы с типами и ключами.  

• Модель компонента включает идентификатор, номер, тип, зону передвижения и другие поля.  

• Аннотации для указания пространства ключей и идентификатора.  

• Команды для удаления и сохранения объектов.  

• Использование хэшей для хранения объектов.  

• Добавление идентификатора в первичный индекс.  

• Индексы используются для получения объектов из базы данных.  

• Вторичные индексы создаются вручную с помощью аннотаций.  

• Команды для создания и наполнения вторичных индексов.  

• Spring Data не выполняет обновления автоматически.  

• Необходимо самостоятельно заботиться о добавлении и удалении аннотаций.  

• Примитивный вариант: вручную обновлять индексы, что ненадежно и неэффективно.  

• Проставление индексов над всеми полями: низкопроизводительный и неэффективный.  

• Написание сервисного метода для пересохранения объектов при каждом релизе.  

• Метод save удаляет старую версию объекта и сохраняет новую.  

• SpringData понимает, когда происходит создание или обновление по первой команде.  

• При обновлении отвязываются вторичные индексы, связанные со старой версией объекта.  

• SpringData автоматически обновляет вторичные индексы.  

• Не нужно переделывать метод для обновления модели.  

• Возможность точечной простановки аннотаций, но может вызвать проблемы с памятью при большом количестве объектов.  

• Поддержка запросов на основе имени метода, но только для findBy и deleteBy.  

• В версии 3.2.4 поддержка deleteBy улучшена, но не все ключевые слова поддерживаются.  

• Для решения задач с Redis приходится использовать обходные решения.  

• В SpringData Redis сначала выполняется спагинация, а затем сортировка.  

• Результат спагинации может быть неожиданным.  

• Для реализации необходимых методов приходится искать обходные решения.  

• Метод save может вызвать проблемы при множестве потоков на чтение и запись.  

• Пример с объектом с идентификатором один и вторичным индексом по полю type.  

• Первый поток получает список идентификаторов, а второй удаляет объект, что может привести к конфликтам.  

• Spring Data не использует синхронизаторы или транзакции для вызовов команд в Redis.  

• Использование транзакций Redis приводит к ошибкам, так как команды добавляются в очередь.  

• Метод del не выполняется и возвращает ошибку.  

• Проверка существования объекта перед транзакцией.  

• Использование атомарной перезаписи объекта в рамках транзакции.  

• Проблема метода safe остается нерешенной.  

• Использование кастомной реализации метода safe.  

• Обзор существующих абстракций Spring Data.  

• Группы классов: проксилодия, репозитории, низкоуровневые API.  

• Redis Adapter содержит логику работы с базой данных.  

• Redis Template добавляет логику публикации событий и методы для различных типов.  

• Index Fryter управляет вторичными индексами.  

• Методы insert и update класса Redis Template делегируют методу update класса Adapter.  

• Использование этих методов заменяет метод safe.  

• В Redis нет различий между созданием и обновлением данных.  

• Parshal Update используется для частичного обновления данных.  

• Конструктор принимает идентификатор и тип класса.  

• Методы set и del позволяют задавать и удалять значения по ключу.  

• Пример обновления объекта с идентификатором один.  

• Логика выполнения методов del и set.  

• Удаление и добавление вторичных индексов.  

• Методы insert и update идентичны при использовании Parshal Update.  

• Логика выполнения метода del выполняется перед set.  

• При использовании Parshal Update не наполняется первичный индекс.  

• Для поиска по идентификатору можно использовать вторичные индексы.  

• Parshil Update не удаляет старую версию объекта при обновлении.  

• Это может привести к проблемам с параллельными потоками на чтение.  

• Метод Safe удаляет старую версию объекта, что может привести к потере данных.  

• Не используется отдельный список для вторичных индексов.  

• Это может привести к снижению производительности при большом количестве объектов.  

• Не удаляются неактуальные индексы, что также влияет на производительность.  

• Синхронизация индексов решает проблемы с захламлением списка.  

• Логика метода Safe может быть подвязана на планировщик для регулярной синхронизации.  

• Сохранение данных: переопределение метода Safe для использования Parshil Update.  

• Получение данных: генерация методов для получения данных на основе имен методов.  

• Удаление данных: использование методов Delete для удаления объектов.  

• Синхронизация модели индексов: реализация методов для синхронизации при каждом релизе и раз в неделю.  

• Spring Data Redis может быть успешным решением при знании всех нюансов.  

• Важно понимать плюсы и минусы работы с фреймворком для успешной интеграции.  

• Выбор Redis был временным решением для базы данных.  

• Приложение работает с репликацией в три реплити.  

• При увеличении объема данных необходимо проводить тесты и адаптировать логику под новые условия.