PostgreSQL 16 Internal Часть I. Изоляция и многоверсионность / Александр Пахомов

• Обсуждение начинается с шутки о психиатрической больнице.  

• Участники готовятся к обсуждению, обсуждают технические моменты.  

• Призыв к зрителям задавать вопросы и оставлять комментарии.  

• Гриша Скобелев представляет себя и тему обсуждения.  

• Виталий рассказывает о своей работе в Авито и важности понимания работы PostgreSQL.  

• Саша Пахомов делится своим опытом и подкастом о базах данных.  

• Обсуждение первой главы книги, которая не включена в презентацию.  

• Переход к первой части, посвященной изоляции и многоверсионности.  

• Виталий подготовил презентацию, которая будет использоваться для обсуждения.  

• Обсуждение табличных пространств в PostgreSQL.  

• Возможность использования табличных пространств для оптимизации данных.  

• Виталий делится опытом оптимизации баз данных в Авито.  

• Обсуждение масштабирования баз данных и оптимизации на уровне платформы.  

• Концепция "роя" или "стада" серверов, популяризированная Kubernetes.  

• Важность понимания масштаба и количества баз данных.  

• Табличные пространства обеспечивают физический уровень организации данных.  

• Логическое разделение баз данных может не улучшать физическое разделение.  

• Оптимизация производительности требует внимания к табличным пространствам.  

• Модификатор "ан логи" делает таблицу не журналируемой, что ускоряет работу.  

• Не журналируемые таблицы могут быть пусты при восстановлении после сбоя.  

• Использование таких таблиц в качестве кэша может быть полезным, но требует осторожности.  

• Не журналируемые таблицы могут не восстанавливаться при сбоях.  

• Использование таких таблиц для кэша требует тщательного планирования.  

• Прогрев кэша может быть критичным для восстановления сервиса.  

• Не журналируемые таблицы могут значительно ускорить работу.  

• В PostgreSQL есть проблема "райтификшн", когда одна запись может быть разбита на несколько.  

• Важно учитывать это при проектировании и использовании не журналируемых таблиц.  

• Не журналируемые таблицы полезны для сложных вычислительных процессов и интеграционных тестов.  

• Временные таблицы могут быть созданы с модификатором "ан логи" для ускорения работы.  

• Важно помнить о возможных проблемах при использовании таких таблиц.  

• Тосты используются для хранения длинных атрибутов в PostgreSQL.  

• Существуют две стратегии: использование служебной таблицы и сжатие данных.  

• PostgreSQL сам решает, как хранить данные, но можно кастомизировать.  

• В PostgreSQL используется процессная модель, что накладывает свои ограничения.  

• Описываются основные процессы и их взаимодействие.  

• Рекомендуется ознакомиться с процессами для лучшего понимания работы PostgreSQL.  

• Описываются уровни изоляции и аномалии в PostgreSQL.  

• Лост апдейт и чтение не закаченных данных не допускаются стандартом.  

• Чтение закаченных данных и фантомное чтение могут привести к проблемам.  

• Обсуждение уровней изоляции в базах данных.  

• Пример использования базы данных как роуч.  

• Проблемы с производительностью и совместимостью.  

• Примеры из книги для лучшего понимания.  

• Ошибки новичков при работе с данными.  

• Примеры аномалий и их влияние на уровни изоляции.  

• Исторический контекст создания уровней изоляции.  

• Теория о неисчислимости аномалий.  

• Важность понимания аномалий для практического применения.  

• Рекомендации по изучению уровней изоляции.  

• Примеры из книги для лучшего понимания.  

• Практические выводы и советы по работе с данными.  

• Влияние уровней изоляции на поведение кода.  

• Примеры ошибок и их обработка в зависимости от уровня изоляции.  

• Разделение ответственности между СУБД и клиентским кодом.  

• Различие между целостностью и согласованностью данных.  

• Примеры целостности и согласованности.  

• Ответственность клиентского кода за соблюдение бизнес-правил.  

• Реализация уровней изоляции в PostgreSQL.  

• Проблемы и ограничения, связанные с уровнями изоляции.  

• Влияние уровней изоляции на скорость выполнения запросов.  

• В PostgreSQL есть функция pg_sleep, которая создает задержку.  

• Это полезно для проверки запросов, которые выполняются за миллисекунды.  

• В примерах используются две консоли для базы данных.  

• Страница в PostgreSQL по умолчанию составляет 8 килобайт.  

• Это исторически сложилось из-за старых жестких дисков, где минимальный блок был 512 байт.  

• Данные записываются на диск большими блоками, независимо от типа носителя.  

• Строки записываются в страницу с конца в начало.  

• Страница содержит фиксированный заголовок и массив указателей на строки.  

• Для чтения страницы PostgreSQL считывает 8 килобайт с диска в память.  

• Специальная область используется для методов данных в индексах.  

• В обычных страницах она равна нулю и не существует.  

• Версии строк помогают оптимизировать обновления, сохраняя предыдущие версии.  

• В PostgreSQL есть параметр fill factor, который определяет, сколько места резервируется под обновления.  

• По умолчанию fill factor равен 100%, что позволяет обновлять строки на той же странице.  

• Оптимизация fill factor может улучшить производительность при большом количестве обновлений.  

• Исходный код PostgreSQL хорошо документирован.  

• Можно глубоко изучить структуру страниц и версий строк.  

• Это помогает понять, как работает PostgreSQL на уровне кода.  

• Оптимизация размещения типов в таблицах позволяет уменьшить смещение данных.  

• Это может сэкономить место на диске и улучшить производительность.  

• Однако, это требует перенастройки базы данных и может быть неэффективным для небольших изменений.  

• В PostgreSQL по умолчанию используется row-level locking.  

• Альтернативы могут быть связаны с производительностью, но есть расширения для чтения всех версий строк.  

• Эти расширения могут быть полезны для анализа производительности, но не всегда необходимы.  

• В PostgreSQL есть счетчик транзакций, который является 32-битным.  

• Каждая версия строки имеет параметры xmin и xmax, указывающие на транзакции, в которых строка была добавлена и удалена.  

• Постгрес использует битовую карту для хранения флагов, указывающих на актуальность строки.  

• Версии строк выстраиваются в связанный список, что позволяет Постгрессу определять актуальную строку.  

• При обновлении записи создается новая версия строки, но ссылка на старую версию может оставаться прежней.  

• Параметры xmin и xmax меняются при работе с транзакциями.  

• В PostgreSQL используется изоляция на основе снапшотов, что позволяет работать с многоверсионными данными.  

• Вакуум запускается для слияния версий строк в одну.  

• Понимание работы версий строк важно для решения проблем параллельного доступа к данным.  

• Операционная система работает с страницами, а не с битами.  

• Страница содержит информацию о том, какие строки и по каким смещениям находятся в памяти.  

• Каждая строка имеет заголовок с параметрами xmin и xmax, а также флаги, указывающие на актуальность.  

• Транзакции записывают и удаляют строки, что создает окно жизни записи.  

• Постгрес решает аномалии, проверяя, была ли транзакция закачена, чтобы избежать чтения незакаченных данных.  

• Вакуум и другие методы используются для оптимизации работы с версиями строк и устранения аномалий.  

• Изменения в разных столбцах строки - идеальный случай.  

• Две транзакции могут работать с одними и теми же данными, что приводит к аномалиям.  

• Важно понимать, что не всегда есть сильная конкурентная среда.  

• Врайт скил: запись ломает данные.  

• Лост апдейт: нарушение консистентности.  

• Обсуждение флагов и счетчиков транзакций в PostgreSQL.  

• Счетчик транзакций в PostgreSQL 32-битный.  

• При 1000 транзакций в секунду счетчик переполнится за полтора месяца.  

• Оптимизация: транзакции только для чтения не увеличивают счетчик.  

• Frozen Transaction ID: все строки становятся видимыми для новых транзакций.  

• VACUUM помогает управлять страницами и версиями строк.  

• Флаги на страницах указывают, какие строки видны всем транзакциям.  

• Индексы помогают быстро находить нужные строки.  

• VACUUM очищает старые версии строк.  

• Визибилити мэп: информация о свободных местах на страницах.  

• Индексы могут хранить ссылки на несколько версий одной записи.  

• Обновления индексов происходят только при изменении индексируемого поля.  

• VACUUM обновляет ссылки на страницы при необходимости.  

• При чтении данных с диска происходят записи.  

• Внутристаничная очистка может удалять старые версии строк.  

• VACUUM может оптимизировать записи на диск.  

• Вопрос о том, как понять, что строка в индексе мертвая.  

• Возможные причины: транзакция еще не завершена, ссылка на удаляемый тюпол.  

• VACUUM и перестройка индекса могут помочь решить проблему.  

• Визибилити мэп указывает, какие страницы живые, а какие мертвые.  

• Данные хранятся в дополнительной мапе, что позволяет быстро определять живые и мертвые строки.  

• Обсуждение, как PostgreSQL определяет актуальность записей в индексах.  

• Если запись не актуальна, PostgreSQL возвращает сообщение об ошибке.  

• Если запись найдена, возвращается актуальная информация.  

• PostgreSQL использует карту видимости для оптимизации запросов.  

• Индекс может проверять не только сам индекс, но и карту видимости.  

• В некоторых случаях индекс может проверять флажки в страницах с данными.  

• Пример создания и обновления записей в PostgreSQL.  

• Обсуждение переполнения счетчика транзакций и снимков данных.  

• Упоминание о работе с текстовыми полями и их влиянии на производительность.  

• PostgreSQL создает дополнительные таблицы для больших текстовых полей.  

• Чтение данных через SELECT * может быть неэффективным.  

• Возможность контроля хранения данных через параметры CREATE TABLE.  

• PostgreSQL может сжимать данные, если они не помещаются на страницу.  

• Возможность настройки сжатия данных для оптимизации записи.  

• Компрессия данных может быть отключена для больших текстовых полей.  

• Обсуждение отказа от функции снимков данных в PostgreSQL.  

• Проблема с дополнительными метаданными и их влиянием на производительность.  

• Возможность использования других систем для поддержки флешбэк запросов.  

• Влияние системного времени на репликацию данных.  

• Возможность получения записей на определенный момент времени в прошлом.  

• Сравнение с другими системами, такими как RoachBase, и их особенности.  

• Обсуждение необходимости сохранения предыдущих значений полей в PostgreSQL.  

• Проблемы с версионностью в PostgreSQL и необходимость создания собственного решения.  

• Преимущества использования триггеров для хранения версионности.  

• Понятие горизонта транзакции и его влияние на заморозку записей.  

• Проблемы с переполнением счетчика транзакций и их решение.  

• Важность понимания горизонта транзакции для пользователей системы.  

• Влияние долгоживущих транзакций на систему и необходимость их регулирования.  

• Проблемы с переполнением счетчика транзакций и их последствия.  

• Важность мониторинга и настройки лимитов для долгоживущих транзакций.  

• Использование репликации для восстановления данных в PostgreSQL.  

• Необходимость достаточного места на мастере для хранения данных.  

• Преимущества и недостатки репликации для исторических данных.  

• Обсуждение архитектуры PostgreSQL и её исторических корней.  

• Преимущества и недостатки многопроцессорной модели.  

• Проблемы с одновременными подключениями и их решение.  

• Важность использования проверенных временем продуктов.  

• Проблемы с многопроцессорной моделью и их влияние на производительность.  

• Ограничения счетчика транзакций и их влияние на систему.  

• Проблема не в количестве коннектов, а в количестве транзакций, которые они могут обработать.  

• Использование пидж-баусеров и коннекшн-пулеров решает эту проблему.  

• Важно осознанно использовать инструменты и понимать их плюсы и минусы.  

• Обсуждение будет продолжаться, и участники могут включать видео и участвовать в дальнейших встречах.  

• Обсуждение будет в следующую субботу, и будут дополнительные анонсы.  

• Благодарности участникам за участие и экспертизу.  

• Для профессионального роста важно понимать, как устроены инструменты.  

• Понимание работы инструментов помогает решать реальные проблемы и оптимизировать проекты.  

• Рекомендация послушать подкаст Саши и посмотреть курсы Виталия.  

• Анонс следующего разбора будет в следующую субботу в 12:00.