Как построить Observability для инфраструктурной платформы / Владимир Дроздецкий (Магнит)

• Доклад о построении обсервабилити для инфраструктурной платформы, с акцентом на использование кубернетиса и промитиуса.  

• Упоминаются внутренние конвеншены, стандартизация приложений, мониторинг и логирование.  

• Проблемы с управлением ресурсами, зависимость от флага сиди, использование кастомизации и терраформа для мониторинга и добавления ресурсов.  

• Использование консула для регистрации сервисов и промитиуса для мониторинга.  

• Использование терраформа для кастомизации и регистрации ресурсов, добавление сервисов в промитиус для мониторинга.  

• Примеры использования терраформа и промитиуса на виртуальных машинах и с экспортерами метрик.  

• В видео обсуждается использование Victoria Metrics для мониторинга Kubernetes.  

• Используется механизм Remore Right для хранения метрик и использования внешних меток для определения источника метрик.  

• В компании выделяются два типа алертов: технические и бизнес-алерты.  

• Технические алерты могут писать все сотрудники, бизнес-алерты должны быть написаны более внимательно и внятно.  

• Для оповещения используются Microsoft Teams и AlertOps для отправки сообщений на электронную почту, смс и телефонных звонков.  

• В случае недоступности инженера, срабатывает политика эскалации алертов, и звонки идут по списку дежурных инженеров, а затем руководителю разработки.  

• Создание универсальных дашбордов для разработчиков, которые могут быстро найти нужные данные.  

• Использование графаны для визуализации данных и формирования дашбордов.  

• Использование аннотаций для отслеживания состояния приложений и пользователей.  

• Формирование дашбордов с использованием дрил-даун подхода для более детальной информации.  

• Использование компонентов гапстека для логгирования и трейсинга.  

• Использование локи для краткосрочного хранения логов, елка для долгосрочного хранения.  

• Использование дирайт-филд для формирования вычисляемых полей в логах.  

• Использование нот-вью для визуализации данных в графане.  

• Докладчик обсуждает проблемы с разными командами, которые работают над одним проектом и используют разные форматы логов и метрик.  

• Он подчеркивает, что важно соблюдать стандарты и конвенции, чтобы избежать проблем с синхронизацией и пониманием между командами.  

• Докладчик рассказывает о том, как они используют Prometheus для хранения и управления данными, и как они используют Grafana для создания дашбордов.  

• Он также обсуждает, как они управляют хранением данных в коде и как они используют бэк-энд видео для сохранения данных в базе данных.  

• Докладчик отвечает на вопрос о том, как они передают дежурство разработчикам и как они планируют развивать платформу.  

• Он также обсуждает, что они предпочитают использовать облачные решения для обсервабилити, но предпочитают хранить экспертизу внутри своей команды.