Введение в Observability. Логирование. Трейсинг. Go | Golang

• Лекция посвящена обсервабилити, логированию и трейсингу.  

• Обсервабилити позволяет определить внутреннее состояние системы по выходным данным.  

• Важно опираться только на телеметрию, собранную самостоятельно.  

• Логирование: запись событий и информации.  

• Трейсинг: фокусируется на взаимодействии между сервисами.  

• Метрики: агрегированные показатели, такие как доля упавших запросов.  

• Помогает понять, работает ли система после запуска.  

• Локализует ошибки в коде для отладки.  

• Логирование записывает события.  

• Встроенный логирование в Go ограничен и не используется в продакшне.  

• Используются библиотеки, такие как Uberlog и ZeroLog.  

• Uberlog: производительный, но с ограничениями.  

• ZeroLog: фокусируется на минимальной выделении памяти.  

• Logrus: популярный, но менее производительный.  

• Uberlog: простой формат без форматирования.  

• Logrus: формат с использованием структуры.  

• ZeroLog: формат с указанием типов полей.  

• Варианты: файл, сеть, база данных, мессенджеры.  

• Мессенджеры удобны для единичных событий.  

• База данных предпочтительна для надежного сохранения событий.  

• Логирование и обсервабилити - тема для обсуждения.  

• Вопрос о выборе способа логирования в приложении.  

• Логирование в приложении не усложняет его.  

• Ранее логи писались по сети, что требовало прописывать их в каждом сервисе.  

• Логи пишутся в формате JSON и хранятся в Kubernetes.  

• Логи включают таймстем, сообщения и дополнительные поля.  

• Для анализа логов используется команда kubectl.  

• Можно ограничить количество логов и выбрать период времени.  

• Для получения логов с нескольких подов используется команда kubectl get logs.  

• Это неудобно для сервисов с большим количеством реплик.  

• Для упрощения используется команда sterm, но она менее гибкая.  

• Для фильтрации и преобразования логов используются традиционные команды.  

• Это тема отдельной лекции, но важно понимать, как извлекать и преобразовывать логи.  

• Graylog используется для работы с логами.  

• Интерфейс похож на Kibana, но Graylog использует MongoDB для хранения конфигурации.  

• Логи пишутся в stdout и должны попасть в Graylog.  

• Лок шиперы используются для сбора и обработки логов.  

• В компании используется самописный инструмент, написанный сотрудником.  

• Инструмент собирает логи с каждой ноды Kubernetes и перекладывает их в Kafka.  

• Kafka позволяет масштабировать нагрузку и сглаживать всплески.  

• Лок шипер использует сэмплирование для уменьшения объема передаваемых данных.  

• В случае превышения лимита логов, система пишет одно большое сообщение.  

• Логи передаются в формате JSON с версиями и полями.  

• Логи могут заменяться одним сообщением при превышении лимита.  

• Логи хранятся до двух недель, затем удаляются.  

• Логи должны быть избирательными, чтобы избежать сэмплирования.  

• Будьте готовы к отсутствию логов и используйте прямые методы для их получения.  

• Grafana позволяет искать логи по словам и полям.  

• Для эффективного поиска сначала фильтруйте логи по уровню или сообщению.  

• Индексируется только небольшое количество полей, поэтому важно сначала фильтровать.  

• Grafana позволяет искать по числам и делать борды.  

• Можно фильтровать и группировать логи по метрикам и ожиданиям.  

• Уровень логирования остается важной темой для обсуждения.  

• Уровни логирования помогают различать важные и неважные сообщения.  

• Позволяют настроить дефолтный уровень логирования и отключить ненужные логи.  

• Существуют разные подходы к логированию, включая радикальные методы.  

• В Go используются методы лок принтер, лок фатал и лок паник.  

• В других системах уровни логирования включают дебак, эрор, ворнинг и инфо.  

• Дебак используется для локальной разработки, эрор для ошибок, ворнинг для предупреждений, инфо для дефолтного уровня.  

• Уровень логирования выбирается в зависимости от среды разработки.  

• Локально используется дебак, на стейдже и проде - инфо или ворнинг.  

• Возможность переопределения уровня логирования для конкретных запросов.  

• Возможность переопределения уровня логирования на уровне контекста.  

• Это позволяет отлаживать запросы на разных уровнях логирования.  

• Важно учитывать чувствительные данные при логировании.  

• Важно логировать фоновые процессы, чтобы понимать их состояние.  

• Логирование начала и конца запроса, а также сообщений в кафке.  

• Использование префиксов для идентификации логов.  

• Логирование чувствительных данных, таких как логины и пароли, должно быть минимизировано.  

• Использование префиксов для идентификации логов фоновых процессов.  

• Важно помнить о логирующих медовари, которые могут записывать каждый запрос и ответ.  

• Использование поисковых запросов для поиска логов.  

• Префикс методов для различения логов.  

• Ограничение количества уникальных сообщений для предотвращения перегрузки системы.  

• Вопрос о возможности автогенерации префиксов в Go.  

• Обсуждение влияния форматирования на производительность.  

• Решение не использовать рефлексию для логирования.  

• Пример изменения уровня логирования для запросов.  

• Передача уровня логирования через контекст.  

• Разные подходы к логированию в зависимости от команды.  

• Трейсы как продвинутая версия логов.  

• Представление графа вызовов в виде картинки.  

• Примеры систем для записи трейсов: Zipkin, Abdesh, Jagger, VS Flight, Stackdriver.  

• OpenTracing как вендора независимый инструмент.  

• Стандартизация семантики и интерфейсов.  

• Возможность подключения различных библиотек для инструментирования кода.  

• Спан содержит операции, время начала и окончания, теги и логи.  

• Может содержать контекст, ссылку на родительский спан и трейс.  

• Трейс ID общий для всех спанов, а спан ID уникален для каждого спана.  

• Для создания спана трейса используется метод startSpan.  

• Метод startSpan создает новый спан или дочерний спан от родительского.  

• Библиотека OpenTracing стандартизирована и имеет готовые методы для работы с трейсами.  

• Логируются операции, занимающие много времени, такие как запросы к базе данных.  

• Логирование фоновых воркеров помогает понять их производительность.  

• Теги можно привязывать к спанам для улучшения анализа.  

• Теги могут быть записаны в формате имя тега: значение.  

• Логи автоматически присоединяются к спанам через платформу-библиотеку.  

• Теги помогают структурировать и анализировать спаны.  

• Спаны могут передаваться через разные каналы, включая заголовки и бинарный формат.  

• Библиотека OpenTracing требует, чтобы трейсеры предоставляли методы для передачи спанов.  

• Трейсеры могут быть инициализированы явно или использовать трейсер по умолчанию.  

• Система Jitter имеет набор фильтров для анализа спанов.  

• Можно фильтровать по сервису, операции, тэгам и периоду.  

• Минимальная длительность стресса помогает в реалистичном профилировании.  

• Графики показывают длину спанов по времени.  

• Можно раскрыть спан для просмотра тегов и логов.  

• Структура спана включает теги и логи в определенном формате.  

• Сервис использует компонент Jager Agent, который собирает и агрегирует спаны.  

• Jager Collector передает агрегированные спаны в базу данных.  

• Jager имеет возможность указывать путь до сэмплинг-менеджера для настройки параметров сэмплирования.  

• Для работы Jager нужно подключить Jager-клиент и создать конфиг.  

• Сэмплер отвечает за отправку всех записанных спанов в Jager.  

• Библиотека логирует спаны и привязывает их к соответствующим трейсам.  

• Трейсы передаются на фронтенд для отслеживания ошибок.  

• Фронтенд может использовать ID трейса для выявления и исправления ошибок.  

• Поле ID трейса индексируется в базе данных для быстрого поиска.  

• OpenTelemetry заменяет устаревший стандарт DPA.  

• OpenTelemetry позволяет использовать один клиент для разных языков программирования.  

• Коллектор OpenTelemetry выступает как прокси перед Jager, что упрощает настройку и использование.  

• Коллектор OpenTelemetry позволяет настраивать ресиверы, процессоры и экспортеры.  

• Это позволяет создавать дополнительные дата-пайпайны для обработки данных.  

• OpenTelemetry стандартизирует работу не только с трейсами, но и с метриками.  

• Обсуждение различных аспектов работы с трейсами и метриками.  

• Рекомендации по чтению дополнительных материалов для лучшего понимания.  

• Вопросы и ответы по теме сэмплирования и использования OpenTelemetry.  

• Обсуждение синтаксиса логирования.  

• Логирование в формате ключ-значение.  

• Аргументы идут попарно, ключ и значение.  

• Возможность исчерпания индексов при логировании.  

• Ограниченное количество индексируемых полей.  

• Фильтрация логов по сообщениям и сервисам.  

• Решение закончить лекцию из-за отсутствия вопросов.  

• Призыв к студентам оставить обратную связь.  

• Важность обратной связи для улучшения формата лекций.