Мониторинг PostgreSQL grafana+prometheus // Курс «PostgreSQL для администраторов баз данных»

• Константин Курочкин, ведущий администратор баз данных компании Мединдекс, представляет себя.  

• Он занимается администрированием баз данных и серверов уже восемь лет.  

• Тема вебинара: настройка мониторинга с помощью Prometheus и Grafana.  

• Константин объясняет важность мониторинга баз данных.  

• Вебинар будет посвящен настройке мониторинга PostgreSQL с помощью Prometheus и Grafana.  

• Планируется установка и настройка Prometheus, Grafana и экспортера для передачи метрик.  

• Вебинар включает знакомство, обсуждение OOTUS, настройку мониторинга и практику.  

• Будут рассмотрены основы Prometheus и Grafana, а также настройка экспортера.  

• В конце вебинара подведут итоги и рефлексия.  

• Проект направлен на повышение квалификации ИТ-специалистов.  

• Для участия в курсе необходимо базовое знание PostgreSQL и администрирование Unix-подобных систем.  

• Сертификаты OOTUS ценятся работодателями и могут помочь в карьерном росте.  

• Преподаватели являются действующими специалистами, что обеспечивает актуальность курса.  

• Курс включает много актуальной информации и практики, ориентированной на реальные задачи.  

• Курс подходит как для начинающих, так и для опытных специалистов.  

• Цель вебинара: установка и настройка Prometheus, Grafana и экспортера.  

• Настройка дашбордов в Grafana для мониторинга PostgreSQL.  

• Вебинар поможет понять, как использовать Prometheus и Grafana для мониторинга баз данных.  

• Рейтинг формируется на основе статей на Хабре и Stack Overflow.  

• PostgreSQL популярен в России благодаря компании Postgres Pro, которая разрабатывает свои решения.  

• Postgres Pro предлагает мультимастер расширение для работы с клиентами и планировщиками запросов.  

• Мониторинг необходим для анализа производительности базы данных.  

• Включает проверку наличия ошибок, мониторинг свободного места на диске, использование ресурсов сервера и состояние резервного копирования.  

• Важно проверять состояние периодического резервного копирования и мониторинг использования откатов транзакций.  

• Настройка алертов для оповещения о нестандартных поведениях базы данных.  

• Мониторинг доступности базы данных и активности подключений.  

• Мониторинг работы с данными, включая индексы и размеры таблиц, а также планы запросов.  

• Мониторинг фоновых процессов, таких как бэкграунд райтер и контроль точек.  

• Мониторинг системных параметров, таких как CPU, сеть, диск, память, блокировки и ожидания.  

• Мониторинг автовакуума и фоновой записи изменений.  

• Мониторинг PostgreSQL осуществляется через системные представления.  

• Prometheus используется для сбора метрик и их визуализации с помощью Grafana.  

• Prometheus хранит временные ряды метрик и работает в связке с Grafana для настройки алертов и визуализации данных.  

• Автовакуум удаляет удаленные строки и освобождает место для повторного использования.  

• Автовакуум также собирает статистику по таблицам.  

• Сжатие таблиц происходит после автовакуума, чтобы освободить место для операционной системы.  

• Установка Prometheus и Grafana на виртуальную машину с характеристиками: 50 ГБ, 2 ядра, 4 ГБ памяти.  

• Скачивание и распаковка архива Prometheus с GitHub.  

• Создание директорий для работы Prometheus и копирование бинарников.  

• Копирование конфига и библиотек Prometheus.  

• Настройка конфига Prometheus: название, интервал сбора метрик, порт для метрик.  

• Создание пользователя Prometheus и настройка прав доступа.  

• Создание сервиса для запуска Prometheus.  

• Проброс портов для доступа к Prometheus.  

• Проверка работы Prometheus и настройка Grafana.  

• Установка необходимых пакетов для Grafana.  

• Добавление репозитория и обновление пакетов.  

• Установка Grafana и настройка прав доступа.  

• Настройка сети и пробросов портов для доступа к Grafana.  

• Проверка работы Grafana и настройка доступа к Grafana через порт 3000.  

• Настройка Grafana для работы с Prometheus.  

• Настройка дата-сорса для Prometheus.  

• Установка и настройка Prometheus экспортера для передачи метрик в Grafana.  

• Скачивание и установка Prometheus экспортера.  

• Создание сервиса для работы с экспортером.  

• Проверка статуса сервиса и проброска портов для передачи метрик.  

• Прописывание конфигурации Prometheus для приема метрик от экспортера.  

• Проверка доступности метрик в Prometheus.  

• Использование Prometheus для мониторинга различных ресурсов.  

• Импорт готового решения для мониторинга Linux из Grafana.  

• Настройка источника данных в Grafana.  

• Получение информации о ресурсах Linux и настройка мониторинга.  

• Установка и настройка Postfix из репозиториев.  

• Настройка доступа к Postfix из всех IP-адресов.  

• Создание пользователя и пароля для Postfix.  

• Установка и настройка Postfix экспортера.  

• Прописывание сервиса для работы с экспортером.  

• Настройка таргетсов для передачи метрик в Prometheus.  

• Импорт шаблона для мониторинга Postfix в Grafana.  

• Получение информации о состоянии Postfix и его метриках.  

• Настройка дополнительных параметров для более детального мониторинга.  

• Импорт дополнительных шаблонов для мониторинга Postfix.  

• Получение более подробной информации о состоянии Postfix.  

• Настройка параметров для более точного мониторинга.  

• Разработчики работают с базами данных в Купере на тестовой среде.  

• Производительность сравнима с виртуальными машинами.  

• Планируется дальнейшее тестирование и внедрение.  

• Для получения данных необходимо добавить кастомные параметры.  

• Метрика "pg_postmaster_start_time_seconds" отсутствует в стандартной версии PgBouncer.  

• Расширение мониторинга с помощью параметров из файла.  

• Возможность создания своих запросов и метрик.  

• Изменение файла сервиса для PgBouncer.  

• Добавление параметра "export_extended_version_params" и метрик из файла.  

• Запуск PgBouncer и проверка метрик.  

• Метрики должны называться "postmaster_start_time_seconds".  

• Настройка сети и проверка портов.  

• Проверка возвращаемых метрик PgBouncer.  

• Настройка метрик для отображения в дашборде.  

• Настройка метрик для размера базы данных.  

• Создание тестовой базы данных и запуск нагрузочного теста.  

• Мониторинг количества коннектов и использования ресурсов.  

• Проверка работоспособности решения в режиме реального времени.  

• Возможность создания собственных метрик для мониторинга.  

• PgBouncer поддерживает многоверсионность и автовакуум.  

• Сжатие данных в PgBouncer не предусмотрено, только удаление невидимых строк.  

• Возможность добавления метрик из других дашбордов.  

• Настройка дашборда под свои нужды.  

• Возможность изменения настроек и добавления новых метрик.  

• Демонстрация работы с Prometheus и Grafana для мониторинга баз данных.  

• Настройка Prometheus и Grafana на разных серверах.  

• Мониторинг нескольких баз данных и кластеров.  

• Возможность создания кастомных панелей мониторинга в Grafana.  

• Удаление ненужных метрик и настройка оповещений.  

• Переход к более подробному изучению курса и преподавателей.  

• Проблемы с перегрузкой и перезапуском базы данных.  

• Механизм журналирования для защиты данных.  

• Важность правильной настройки параметров дисков и синхронизации.  

• Описание курса и преподавателей.  

• Евгений Аристов, Антон Золотов, Виктор Коробков, Дмитрий Кириллов, Виталий Попова.  

• Программа курса включает пять модулей.  

• Основы баз данных, команды DML, физический и логический уровни.  

• Многоверсионность, журнал блокировок, автовакуум.  

• Администрирование, репликация, патроны, оптимизация производительности.  

• Проектная работа и защита проектов.  

• Повышение уровня компетенции и карьерные возможности.  

• Вакансии для администраторов баз данных и их востребованность.  

• Скрипты для настройки мониторинга и аналитики зарплат.  

• Медиана зарплат для администраторов баз данных около 250 тысяч рублей.  

• Требования к навыкам и опыту для работы в этой области.  

• Михаил делится опытом работы с базами данных, масштабированием и облачными технологиями.  

• Он предлагает ссылку на гид, который можно найти на YouTube.  

• Михаил подчеркивает, что навыки полезны для всех компаний, и их можно найти на сайтах по поиску работы.  

• Установлены кластер, Prometheus, Grafana, и настроен мониторинг.  

• Михаил предлагает разные способы получения ссылок на гид, включая личные сообщения.  

• Основные тезисы: мониторинг необходим для выявления проблем и бесперебойной работы.  

• Мониторинг важен для автоматизации и бесперебойной работы систем.  

• В компаниях часто пренебрегают настройкой мониторинга, что может привести к проблемам.  

• Правильно настроенный мониторинг обеспечивает 80% успеха.  

• Grafana позволяет визуализировать системные представления и метрики.  

• Grafana удобна для анализа данных без выполнения запросов.  

• Позволяет видеть изменения нагрузки и строить прогнозы.  

• Мониторинг помогает выявлять проблемы и оптимизировать работу.  

• Grafana поддерживает кастомные метрики для аналитики.  

• Курс стартует 29 мая, и предлагает реальные примеры из промышленной эксплуатации.  

• Курс содержит примеры из промышленной эксплуатации и реальные кейсы.  

• Курс охватывает мониторинг, Prometheus, Grafana и другие важные инструменты.  

• Курс помогает настроить системы вручную без использования облачных решений.  

• Михаил предлагает задавать вопросы после вебинара.  

• Благодарит за внимание и приглашает на курсы.  

• Прощается и желает продуктивной рабочей недели.