Александр Гольдебаев «OpenTelemetry для самых маленьких»

• Приложения сталкиваются с большим количеством ошибок и медленной работой.  

• Телеметрия помогает диагностировать и исправлять ошибки, а также отслеживать деградацию системы.  

• Для анализа телеметрии нужно собирать данные.  

• Наблюдаемость помогает предупреждать ошибки и отслеживать актуальность кода.  

• Телеметрия — это процесс сбора данных, таких как логи, трассировки и метрики.  

• Логи бывают классическими и структурированными, последние более удобны для анализа и фильтрации.  

• В .NET есть интерфейс ILogger для написания логов.  

• Для структурированного логирования используется Serilog.  

• Serilog позволяет логировать объекты и использовать шаблоны для оптимизации данных.  

• Используйте имена свойств в качестве содержимого сообщения.  

• Избегайте точек и других знаков препинания в логах.  

• Используйте свойства шаблона для включения переменных сообщения.  

• Распределенная трассировка помогает отслеживать путь запроса и определять место сбоя.  

• Контекст и пропагейшн используются для передачи метаданных между сервисами.  

• В .NET уже есть инструментарий для распределенной трассировки, который можно использовать.  

• Приложение состоит из фронтенда и бэкенда.  

• Контроллеры взаимодействуют с сервисами настроек и погоды.  

• Внедрение распределенной трассировки включает добавление активити сорс и вызов старт-актив.  

• Активити реализует интерфейс, что позволяет использовать его для различных целей.  

• При возникновении ошибок можно установить статус активити.  

• Активити может вернуть null, если у него нет линеров.  

• Врафуркаст контроллер добавляет активити сорс и ивент.  

• Ивент используется для написания логов внутри спанов.  

• Метод сет тэк позволяет устанавливать метаданные для спанов.  

• Имя источника должно быть уникальным и иерархическим.  

• Имя должно основываться на сборке, осуществляющей инструментацию.  

• Логи и трассировки помогают определить ошибки и их причины.  

• Метрики помогают отслеживать состояние системы и сравнивать её производительность.  

• Метрики используются для оценки актуальности функциональности и сравнения с прошлыми версиями.  

• Метрики были добавлены в System Diagnostics Metrics.  

• Современный провайдер метрик предлагает доступ к метру.  

• Метр состоит из инструментов, которые считают метрики.  

• Инструменты бывают синхронными и асинхронными.  

• Синхронные инструменты добавляются вручную, асинхронные используют колбек-функции.  

• Инструменты различаются по типам: обычный катер, абдаун, обзор, гистограмма.  

• Гейдж хранит целые значения, рекомендуется для работы с температурой.  

• Создается класс для хранения метрик и их регистрации.  

• Метрики регистрируются в диале как синглтон.  

• Метрики можно просматривать с помощью команды monitor в dotnet-causers.  

• Разделение уровня иерархии должно происходить через точку, слов через нижнее подчеркивание.  

• Для каждого логического блока должен быть отдельный класс метрик.  

• Телеметрия включает сбор, передачу, хранение, мониторинг и визуализацию данных.  

• Инструментирование кода и использование сторонних инструментов для сбора данных.  

• Использование OpenTelemetry для объединения данных в единый стандарт.  

• OpenTelemetry предоставляет инструменты для экспорта данных и имеет открытый исходный код.  

• Библиотеки для инструментирования и экспорта данных.  

• Семантические соглашения для метрик и трассировок.  

• Интерфейсы для экспортеров и протокол передачи данных.  

• В .NET OpenTelemetry представлен в виде трех категорий: Core, .NET и инструменты-экспортеры.  

• Инструменты-экспортеры помогают отправлять данные в различные бэкенды телеметрии.  

• Примеры пакетов: Core, .NET, экспортеры в консоль и Prometheus.  

• Протокол OpenTelemetry объединяет все бэкенды телеметрии в единый стандарт.  

• Поддерживается почти всеми сервисами для телеметрии.  

• Разработан по принципу запрос-ответ для высокой пропускной способности и низкой процессорной нагрузки.  

• Использование библиотеки Prometheus для экспорта метрик.  

• Prometheus Net стабилен и подходит для экспорта в Prometheus.  

• OpenTelemetry экспортер выигрывает по производительности, но имеет больше зависимостей.  

• Prometheus разработан SoundCloud и подходит для мониторинга и алертинга.  

• Хранит данные в базе данных временных рядов.  

• Конфигурация Prometheus включает ресурсы, метрики и экспортеры.  

• Prometheus имеет множество экспортеров для работы с различными инструментами и базами данных.  

• Экспортеры помогают извлекать данные из внешних инструментов, таких как Redis.  

• Для работы с Redis используется редис-экспортер, который забирает данные каждые 30 секунд.  

• Агенты и экспортеры создаются рядом с сервисами для масштабирования.  

• Prometheus использует данные из экспортеров для анализа.  

• Можно проверить, все ли метрики и данные подключены к Prometheus.  

• Opentelemetry Collector интегрируется с различными типами данных и протоколами.  

• Он обеспечивает высокий уровень производительности и обсервабилити.  

• Collector поддерживает фильтрацию и модификацию данных.  

• Opentelemetry Collector использует push-модель для экспорта данных в Prometheus.  

• Данные передаются по OpenTelemetry протоколу и обрабатываются в коллекторе.  

• Конфигурация Opentelemetry Collector осуществляется через YAML.  

• Jaeger состоит из агента, коллектора и кварца.  

• Рекомендуется использовать Cassandra или ElasticSearch для хранения данных.  

• Opentelemetry Collector используется для передачи данных в Jaeger.  

• Конфигурация Jaeger включает добавление источников и автоинструментацию.  

• Автоинструментация позволяет автоматически добавлять метрики и трассировки.  

• Jaeger предоставляет образ для локальных тестов с хорошо настроенными компонентами.  

• Трассировки и спаны отображаются в Jaeger.  

• Можно видеть метаданные, такие как город, установленные в качестве метаданных.  

• Loki сервер инициализирует и индексирует данные по метаданным и лейблам.  

• Данные сжимаются и хранятся в объекте хранилища.  

• Loki предполагает использование сторожа и инжектора.  

• Используется сторонний коллектор, поддерживающий Loki.  

• Конфигурация насыщает логи контекстом и добавляет инвай-нейм.  

• Включение ID трассировок и спанов в метаданные логов.  

• Удобная конфигурация с множеством примеров и объяснений.  

• Настройка периода для тайм-серии и базы данных.  

• Использование Grafana для визуализации логов, трассировок и метрик.  

• Grafana поддерживает Prometheus и Loki.  

• Возможность кастомизации и экспорта дашбордов.  

• Spire Dashboard для локальной разработки.  

• Хранит данные в памяти и визуализирует их.  

• Подходит для быстрой проверки данных.  

• Обсуждение OpenTelemetry и его возможностей.  

• Ссылки на дополнительные материалы и ресурсы.  

• Призыв к дальнейшему изучению темы.  

• Обсуждение взаимодействия инструментов, таких как инсайд и метрики.  

• Инсайд собирает, хранит, анализирует и визуализирует данные.  

• В больших компаниях это делается через отдел DevOps.  

• Сложности с конфигурациями и файлами YML.  

• Разные версии YML могут не поддерживаться в разных инструментах.  

• Важно понимать различия между версиями YML.  

• Вопрос о самописном сервисе и его влиянии на отказоустойчивость.  

• Телеметрия коллектор не самописный, а от компании, работающей в крупных компаниях.  

• Коллектор работает как балансировщик нагрузки и модифицирует данные.  

• Возможность настройки через C# вместо YML.  

• Коллектор позволяет модифицировать данные и масштабировать систему.  

• Коллектор удобен для компаний с несколькими языками программирования.  

• В компании нет отдела тестирования, и автор внедряет инструменты для улучшения работы.  

• Рассматривались легковесные инструменты, но они не поддерживают метрики.  

• Выбран Elasticsearch для презентации и работы из-за хорошей интеграции и поддержки.