Блокировки в PostgreSQL / Егор Рогов (Postgres Professional)

• Егор работает в компании "Пост Профессиональный" в отделе образовательных программ.  

• Компания занимается написанием статей, книг и учебных курсов по PostgreSQL.  

• Все материалы доступны на сайте компании.  

• Блокировки используются для упорядочивания доступа к разделяемым данным.  

• Блокировки важны для корректной работы баз данных, но могут стать источником проблем.  

• В высоконагруженных системах блокировки могут ухудшать производительность.  

• Используются для защиты структур данных в оперативной памяти.  

• Атомарные инструкции процессора работают на аппаратном уровне.  

• В сложных структурах данных используются примитивы синхронизации, предоставляемые операционной системой.  

• Легкие блокировки не требуют серьезных накладных расходов, но инфраструктура ограничена.  

• Есть два режима: монопольный и разделяемый.  

• Мониторинг и обнаружение взаимоблокировок отсутствуют, но это не критично для ядра PostgreSQL.  

• Представление pg_stat_activity показывает текущую ситуацию в системе.  

• Сэмплинг позволяет получать срезы состояния системы.  

• Точные цифры ядро не предоставляет, только вероятностные оценки.  

• Блокировка защищает хэш-таблицу буферного кэша.  

• Процессы берут блокировку в монопольном или разделяемом режиме.  

• Разделение структуры данных на части улучшает производительность.  

• Тяжелые блокировки требуют больше ресурсов, но обеспечивают более богатую инфраструктуру.  

• Есть множество типов и режимов блокировок.  

• Обнаружение взаимоблокировок важно для конечных пользователей.  

• Блокировка номера транзакции позволяет ждать завершения другой транзакции.  

• Блокировка расширения отношений предотвращает одновременное расширение одного и того же файла данных.  

• Блокировки отношений используются для работы с таблицами.  

• Существует восемь режимов блокировок, каждый из которых имеет свои особенности.  

• Матрица совместимости режимов помогает понять, какие блокировки совместимы, а какие нет.  

• Самый слабый режим блокировки используется командой SELECT.  

• Самый сильный режим блокировки EXCLUSIVE EXCLUSIVE используется командой DROP.  

• Это позволяет избежать конфликтов при выполнении запросов и удалении данных.  

• Очередь блокировок в PostgreSQL честная, что гарантирует, что команды не будут ждать вечно.  

• Однако, если команда не выполняется вовремя, это может парализовать систему.  

• Пример: команда VACUUM FULL может вызвать блокировку, если выполняется долго.  

• Блокировки на уровне строк используются для больших таблиц с миллиардами строк.  

• PostgreSQL использует две стратегии: блокировка всей таблицы или блокировка внутри страницы данных.  

• Блокировки на уровне строк хранятся в заголовке каждой версии строки.  

• Существует четыре режима блокировок: два для изменения и два для чтения.  

• Некоторые изменения и чтения можно совмещать, что позволяет использовать четыре режима.  

• Для чтения строки блокировки не нужны, но для изменения строки они необходимы.  

• Процесс захватывает блокировку типа TABLE и устанавливает признак работы с строкой.  

• Если появляется другой процесс, он ждет завершения текущей транзакции.  

• Проблемы возникают, когда первая транзакция завершает работу, создавая новую версию строки.  

• Взаимоблокировки возникают, когда процессы блокируют друг друга, создавая бесконечный цикл.  

• Для обнаружения взаимоблокировок строится граф ожиданий и проверяется наличие контуров.  

• Если взаимоблокировка обнаружена, система прибивает процесс, инициировавший проверку.  

• Взаимоблокировки вызваны ошибками в приложении.  

• Ресурсы блокируются в разном порядке в разных процессах.  

• Пример: поток апдейтов, которые могут схлестнуться из-за изменения плана запроса.  

• Система мониторинга с 100 ядрами и 15 тысячами строк в секунду.  

• Проблема: система захлебывается из-за поиска взаимоблокировок.  

• Решение: патчи для улучшения работы с тяжелыми блокировками.  

• В PostgreSQL до версии 9.6 файлы расширялись по одной странице.  

• Патч Саши Короткова улучшает расширение индексов.  

• Проблема: несколько процессов запускают поиск взаимоблокировок, что приводит к блокировке.  

• Проблема: активное чтение из буферного кэша откладывает изменение страниц.  

• Патч Саши Короткова делает очередь легких блокировок более честной.  

• Организационные меры: разнесение нагрузки по времени или разделение системы на части.  

• Важно понимать устройство системы и разрабатывать её с учетом этого.  

• Избегать горячих точек и использовать организационные меры.  

• Поддержка вендора может помочь в сложных ситуациях.  

• Возможность изменения количества блокировок в PostgreSQL.  

• Изменение параметра возможно только в исходных кодах.  

• Апдейт при перестроении плана может сам себе помешать.  

• Сложно создать ситуацию, когда два апдейта работают в разных порядках.  

• Взаимоблокировка апдейтов возможна, но редко случается.  

• Каскадное удаление может вызвать дедлок.  

• Если дедлок не разрешен, это не дедлок, а ожидание.  

• Важно смотреть, что происходит в реальной ситуации.  

• Параллельные запросы могут сильно снижать производительность.  

• Нужно больше деталей для точного ответа.  

• Возможно, это связано с тилоками или другими факторами.  

• Блокировка строки на 30 минут может привести к зависанию системы.  

• Автовакуум может пропускать страницы, с которыми не может работать.  

• Блокировка строки на 30 минут - плохая идея.  

• Проблема может быть связана с накоплением мертвых строк.  

• Важно оценивать, насколько таблицы распухают.  

• Использование автовакуума может помочь, но нужно следить за размером таблиц.  

• В ядре нет точного механизма подсчета блокировок.  

• Единственный способ - сэмплинг.  

• Нет других способов, кроме сэмплинга, для точного подсчета блокировок.  

• Благодарность за доклад и вопросы.  

• Вопрос о блоках был признан сложным и актуальным.  

• Приз за лучший вопрос от докладчика.