observability / как сжать int в один бит / мониторинг в Яндексе

• Приветствие и представление гостей.  

• Обсуждение планов на эфир и общение с зрителями.  

• Андрей Столбовский, менеджер по разработке, рассказывает о своем опыте работы в Яндекс и Amazon.  

• Обсуждение подходов к разработке и мониторингу в больших и маленьких компаниях.  

• Андрей сравнивает подходы к разработке в больших и маленьких компаниях, объясняя, почему большие компании предпочитают использовать свои собственные решения.  

• Упоминает о рисках, связанных с использованием открытых источников и форканием лицензий.  

• Андрей подводит итоги и делает выводы о том, почему большие компании предпочитают разрабатывать свои собственные решения.  

• Упоминает о том, что люди любят пилить свое и строить империи.  

• В Amazon используется практика регулярного обзора дешбордов и ревью дешбордов, что позволяет контролировать состояние сервисов и оперативно реагировать на проблемы.  

• Комментирование и эскалация инцидентов помогают контролировать качество мониторинга и предотвращать проблемы.  

• В стартапах мониторинг может быть менее критичным, так как они могут быть сосредоточены на поиске ценности и развитии продукта.  

• В процессе роста и развития компании, мониторинг становится более важным, особенно в области управления ошибками и управления ресурсами.  

• Золотые сигналы - это ошибки, количество квестов, лейтенси (скорость обработки запросов) и саш (насыщение ресурсов).  

• Саш - это количество запросов и использование ресурсов, которое может быть важным показателем для планирования и управления ресурсами в крупных компаниях.  

• Система передачи данных, хранение данных, сеть и сервер.  

• Важно знать насыщение ресурсов и мониторить их.  

• Важно иметь линии треш-холда на графиках.  

• Чиселки должны быть закодированы и натянуты на архитектуру сервиса.  

• Центр сейчас сложен для развертывания и поддержки.  

• Альтернативы: Kafka, RedPanda, StoneZooka.  

• Автор рассказывает о своем опыте использования графаны и ее преимуществах, таких как расширяемость, плагины и поддержка множества языков программирования.  

• Он также упоминает проблемы с производительностью и юзабилити, которые возникают при работе с большими дешбордами.  

• Автор говорит о своем опыте использования трейсинга и его сложностях, таких как отсутствие возможности отслеживать запросы в очереди и проблемы с обработкой запросов в Ruby.  

• Он также упоминает о важности использования трейтинга и рутко для анализа распределенных процессов и выявления проблем в работе системы.  

• Автор подчеркивает, что трейсинг и рутко являются полезными инструментами для мониторинга, но их использование должно быть оправдано и не занимать слишком много времени.  

• Обсуждение важности алертов и их влияния на психику.  

• Рекомендация не шуметь и не беспокоить людей в нерабочее время.  

• Обсуждение важности сжатия логов и оптимизации для экономии места на серверах.  

• Призыв к использованию техник сжатия и оптимизации для улучшения работы сервисов.  

• Обсуждение кодирования данных и оптимизации для уменьшения размера информации.  

• Пример использования кодирования с переменной длиной для сжатия данных.  

• Обсуждение результатов исследования Фейсбук о том, сколько процентов данных попадают в бакет ноль.  

• Обсуждение использования техники экономии данных, которая позволяет сократить объем передаваемых данных на 96%.  

• Обсуждение использования этой техники в мониторинге данных и ее простоты и изящества.  

• Важно понимать, зачем вы делаете софт, и решать реальные проблемы, а не только технические.  

• Не стоит сильно парься на весь богатый инструментарий, а решать реальные проблемы.  

• Важно добавить золотые сигналы и сделать бордик, если его нет.  

• Важно делать аллерты, когда они действительно нужны, а не только из-за требований руководителя.  

• Важно иногда садиться на кол и смотреть, как все происходит, чтобы лучше понимать потребности пользователей.