Открытый урок о транзакциях в PostgreSQL

• Открытый урок по развитию навыков.  

• Обсуждение транзакций и параллельного доступа в PostgreSQL.  

• Цель урока: показать, как проходят уроки и собеседования.  

• Программа для разработчиков, желающих сменить работу или улучшить навыки.  

• Более 300 участников, 80 менторов, 1500 занятий за последние полгода.  

• Успешные выпускники работают в крупных компаниях.  

• Мог-интервью: тестовое собеседование для оценки знаний.  

• Занятия один на один с ментором, регулярные домашние задания.  

• Помощь с трудоустройством.  

• Мог-интервью стоит 3900 рублей, но скидка до 2900 рублей.  

• Вопросы можно задавать в чат, ответы будут даны после эфира.  

• Нурлан рассказывает о своей работе в компании по управлению кластерами.  

• Обсуждение транзакций: что это, зачем нужны, проблемы и состав.  

• Обеспечение согласованности данных на уровне базы данных и приложения.  

• Пример с переводом счета: правило согласованности не должно менять общую сумму.  

• Транзакция как множество операций, переводящих базу данных из одного состояния в другое.  

• Синтаксис транзакции: оператор begin, несколько операторов, commit и rollback.  

• Параллельный доступ к данным вызывает аномалии.  

• Важно правильно управлять транзакциями на уровне приложения.  

• База данных предоставляет инструкции для управления транзакциями.  

• Обсуждение трех стандартных аномалий: потерянное обновление, неповторяющее чтение и фантомное чтение.  

• Эти аномалии описаны в стандарте и известны с первых дней революционной алгебры.  

• Существуют и другие аномалии, которые могут быть не известны науке.  

• Проблема возникает при параллельных транзакциях, изменяющих один и тот же набор данных.  

• Одна транзакция может перезаписать изменения другой, что приводит к несогласованности данных.  

• Пример: две транзакции изменяют данные, но одна перезаписывает изменения другой, что приводит к потере данных.  

• Один и тот же запрос в рамках одной транзакции может возвращать разные данные из-за конфликта между параллельными транзакциями.  

• Пример: первая транзакция возвращает одно значение, а вторая транзакция изменяет данные, что приводит к разным результатам для одной и той же транзакции.  

• Это нарушает структуру транзакции и может привести к проблемам с консистентностью данных.  

• Разные транзакции могут возвращать разные наборы данных из-за влияния друг на друга.  

• Пример: первая транзакция возвращает одно значение, а вторая транзакция добавляет данные, что приводит к разным результатам для одной и той же транзакции.  

• Это также нарушает структуру транзакции и может привести к проблемам с консистентностью данных.  

• Аномалии связаны с уровнем изоляции, который определяет согласованность и скорость доступа к данным.  

• Три уровня изоляции: read-committed, repeatable read и serializable.  

• Read-committed допускает все стандартные аномалии, repeatable read не допускает стандартных аномалий, но может допускать другие, а serializable не допускает аномалий по своей природе.  

• Repeatable read требует повторного чтения при обнаружении аномалий.  

• Пример: транзакция пытается закомитить изменения, но видит, что данные были изменены другой транзакцией, и требует повторного чтения.  

• Это позволяет избежать несогласованности данных и обеспечивает более высокую скорость доступа.  

• Несогласованное чтение возникает, когда одна транзакция читает один набор строк, а другая - другой.  

• Это похоже на нон репита был рит, но связано с джойнами.  

• Репита был рит допускает две аномалии: в райт и только читающие транзакции.  

• Правила согласованности не должны нарушаться.  

• Две параллельные транзакции могут нарушить общую согласованность.  

• Пример с таблицей докторов показывает, как две транзакции могут привести к нарушению согласованности.  

• Параллельные транзакции могут влиять друг на друга.  

• Вводится подход многоверсионного управления конкурентным доступом.  

• Основные подходы: протокол двухфазного блокирования и протокол изоляции на основе снимков.  

• Транзакция проходит две фазы: фаза роста и фаза уменьшения.  

• В фазе роста транзакция набирает блокировки, а в фазе уменьшения - отпускает их.  

• Это обеспечивает конкурентный доступ к данным.  

• Каждая транзакция работает со своим набором данных.  

• В Cosmos DB используется комбинация снапшотов и блокировок.  

• В распределенных базах данных, таких как RDB, используется доработанный протокол двухфазного блокирования.  

• Данные могут находиться в нескольких версиях.  

• Каждая транзакция видит только одну версию данных.  

• Уровень изоляции ред коммит фиксирует данные на начало каждого оператора.  

• Снапшот данных фиксируется на начало транзакции.  

• В ред коммит изменения, сделанные после фиксации снапшота, видны.  

• В репита был рит изменения, сделанные после начала транзакции, не видны.  

• Если две транзакции изменяют одни и те же данные, возникает конфликт.  

• По пытается решить конфликт, откатывая транзакцию и возвращая ошибку.  

• Это объясняет, почему репита был рит называется повторным чтением.  

• Подвиги сохраняют несколько версий данных.  

• Каждая транзакция видит только один набор версий для каждой строки.  

• Параметры xmin и xmax определяют видимость версии для транзакции.  

• Информационные биты используются для статистики и аномалий.  

• Ссылки на следующие версии строк важны для отслеживания изменений.  

• Транзакции, выполненные до момента создания снимка, попадают в снимок.  

• Транзакции, выполненные после момента создания снимка, не попадают.  

• Идентификаторы транзакций сохраняются для отслеживания аномалий.  

• Снимки состоят из структуры, включающей транзакции и их идентификаторы.  

• Массив активных транзакций используется для отслеживания аномалий.  

• Горизонт транзакции определяется минимальной активной транзакцией.  

• Горизонт базы данных — это минимальный горизонт всех транзакций в базе данных.  

• Длинные активные транзакции препятствуют очистке ненужных версий строк.  

• Пример показывает, как транзакции видят данные в зависимости от уровня изоляции.  

• Read Committed создает снимок на каждом вызове оператора.  

• Repeatable Read создает снимок на момент начала транзакции.  

• Понимание уровня изоляции помогает решать аномалии.  

• Пример показывает, как две транзакции влияют на базу данных.  

• Важно понимать, какие данные попадают в снимок на разных уровнях изоляции.  

• Снапшоты создаются на каждый оператор для уровня Read Committed.  

• Транзакция завершается до создания скриншота функции update.  

• У Боба будет 600, если транзакция завершится успешно.  

• Набор данных фиксируется, и апдейт не будет виден.  

• При попытке закомить транзакцию, данные могут быть изменены другой транзакцией.  

• Возникает ошибка 412, требующая повторить запрос.  

• Выбор уровня изоляции зависит от задачи и профиля нагрузки.  

• Это всегда компромисс между согласованностью и скоростью.  

• Read Committed является дефолтным уровнем, но не решает все аномалии.  

• Read Committed и блокировки могут обеспечить хорошую согласованность и скорость.  

• Блокировки тормозят выполнение транзакций, снижая производительность.  

• Repeatable Read обеспечивает более строгую изоляцию, но требует подготовки приложения.  

• Приложение должно быть готово к обработке аномалий транзакций.  

• Необходимы дополнительные проверки и переработка работы с транзакциями.  

• Самый строгий уровень изоляции создает блокировки и снижает производительность.  

• Приложение может ошибочно блокировать транзакции или считать аномалии там, где их нет.  

• Это связано с особенностями реализации и требует подготовки.  

• Ошибки могут быть сложными и требовать дополнительных усилий для их обработки.  

• Книга от компании по про содержит детальное описание работы транзакций и баз данных.  

• Документация по поу полезна для понимания нюансов работы с транзакциями.  

• Курсы от компании полезны для освежения знаний и подготовки.  

• Авито использует распределенную базу данных с жесткой согласованностью.  

• Транзакции реализуются через блокировки и отдельную базу данных.  

• Это новый подход, который становится мейнстримом.  

• Программа включает индивидуальное интервью и составление плана занятий.  

• Занятия включают обсуждение тем, домашние задания и поддержку ментора.  

• После занятий помогает с трудоустройством и подготовкой резюме.  

• Вопросы о курсах с дальнейшим трудоустройством и согласованности данных.  

• Ответы на вопросы, заданные во время эфира, и приглашение задавать новые вопросы.  

• Примеры согласованности: переводы счетов не должны менять общие суммы, суммы заказов не должны превышать 10.  

• Сложно дать простое определение согласованности, но примеры помогают понять.  

• Занятия проходят раз в неделю или раз в две недели, в зависимости от договоренностей с ментором и объема домашнего задания.  

• Важно, чтобы всем было комфортно и удобно.  

• Апдейт блокирует доступ к одному полю, а джойны блокируют несколько полей.  

• Можно использовать модификаторы для блокировки полей.  

• Можно поднять уровень изоляции для решения проблемы фантомных данных.  

• Важно знать нюансы работы с уровнем изоляции для конкретных транзакций.  

• Вопросы можно задавать в чате, и для каждого будет проведено интервью.  

• Можно оставить заявку на прохождение интервью и менторства.  

• Аномалии нужно обрабатывать на уровне приложения, а не базы данных.  

• Важно повторять всю цепочку транзакций при аномалиях.  

• Уровень изоляции зависит от множества факторов, включая нагрузку и тип транзакций.  

• Для операций с деньгами можно использовать сериализатор, если нет большой нагрузки.  

• Вопросы из чата можно оставить в чате или заполнить заявку.  

• Важно оставить фидбек для улучшения будущих эфиров.  

• Книга подходит для новичков, но желательно иметь базовое представление о работе с базами данных.  

• Для новичков лучше работать с ментором для лучшего понимания.  

• Присоединяйтесь к чату для вопросов после эфира.  

• Обсуждается возможность трудоустройства через инвайты.  

• Ментор из крупных российских компаний помогает с трудоустройством.  

• Резюме можно отправить через внутреннюю систему рекомендаций.  

• Появилась книга по базам данных.  

• Книга доступна для сотрудников компаний и на ежегодной конференции.  

• Книга полезна для новичков, объясняет основы запросов.  

• Призыв оставлять вопросы в боте.  

• Возможность задать вопросы и получить фидбек после эфира.  

• Благодарность за участие и приглашение на следующий эфир.  

• Нурлан предлагает задавать вопросы в чате в телеграме.  

• Призыв заниматься тем, что нравится, и обращаться за помощью.  

• Напоминание о возможности получить скидку на интервью.  

• Благодарность за просмотр и приглашение следить за обновлениями.