Высоконагруженные системы — почему одного Go недостаточно? — Никита Галушко, VK

• Обсуждение работы на многоядерных системах с 28–56 ядрами.  

• Возможность использования всех ядер из коробки в Go.  

• Проблемы оптимизации процессов в Go.  

• Представление Никиты Галушки, старшего инженера ВКонтакте.  

• Тема доклада: разработка систем с большим количеством ядер.  

• Проблемы с кэшем и согласованностью данных между ядрами.  

• Необходимость оптимизации для максимальной производительности.  

• Простота работы с асинхронными задачами в Go.  

• Внутренний шедулер в Go автоматически распределяет задачи по ядрам.  

• Ограничения Go при работе с некоторыми задачами.  

• Важность кэша и архитектуры процессора.  

• Сложности эффективной работы с AMD процессорами.  

• Важность частого использования кэша для оптимизации производительности.  

• Протокол Messy обеспечивает согласованность кэша между ядрами, но замедляет выполнение кода.  

• Возможность управления кэшем через структуры данных.  

• Необходимость понимания работы компьютера и операционной системы.  

• Эффективное использование памяти и кэша в приложениях.  

• Проблемы с использованием read-write мьютексов при высокой нагрузке.  

• Алгоритмы, такие как Bravo, для улучшения коммуникации между ядрами.  

• Проблемы синхронизации данных между NUMA-нодами.  

• Синхронизация данных между NUMA-нодами через бриджву.  

• Медленная коммуникация между NUMA-нодами по сравнению с одной NUMA-нодой.  

• Первый шаг: понимание основ работы процессора, памяти и операционной системы.  

• Второй шаг: поиск современных исследований по проблеме.  

• Третий шаг: применение найденных решений на практике.  

• Исследования проводятся специалистами, которые получают за это деньги.  

• Задача разработчика — анализировать исследования и применять их на практике.  

• Не все исследования применимы на практике.  

• Использование Google Scholar и Twitter для поиска исследований.  

• Возможность обращения в экспертные сообщества.  

• Пример телеграм-канала для обмена находками.  

• Утилита perfstat для анализа производительности в Linux.  

• Измерение попаданий в кэш и количества инструкций на цикл.  

• Влияние других приложений на производительность.  

• Различия в компиляции функций для разных архитектур ARM и x86.  

• Проблемы с оптимизацией на ARM до версии 8.1.  

• Возможность принудительной компиляции для определённой версии ARM.  

• Go занимает нишу между скриптовыми и компилируемыми языками.  

• Ограничения Go в управлении ресурсами и рантаймом.  

• Необходимость использования хаков для оптимизации производительности.  

• Другие языки, такие как C, предоставляют больше возможностей для управления ресурсами.  

• В Go сложно достичь максимальной производительности без компромиссов.  

• Трудности чтения кода на Go из-за проверок безопасности.  

• Приложения исполняются на Linux x86-64.  

• Дистрибутив может влиять на производительность, но это не всегда критично.  

• Отсутствие исследований по сравнению различных дистрибутивов Linux.  

• Понимание работы операционной системы: пейдж-кэш, сброс страниц на диск.  

• Знание взаимодействия операционной системы с железом.  

• Изучение работы железа для оптимизации.  

• Чтение исходников драйверов и ядра помогает понять сложные аспекты.  

• Написание кода способствует лучшему пониманию процессов.  

• Метрики собираются на этапе разработки для анализа использования диска и попадания в кэш.  

• Написание бенчмарков помогает оценить эффективность алгоритмов.  

• Итеративная оптимизация через бенчмарки.  

• StatHouse эффективнее Prometheus для сбора метрик.  

• Сбор верхних уровневых метрик: время записи на диск, время ответа на запрос.  

• Анализ выбросов по перцисилям для выявления проблем.  

• Предпочтение AMD из-за опыта работы с Intel.  

• Для рабочего использования предпочтительнее Mac из-за ARM-процессоров и хорошей батареи.  

• Подкаст завершён, упоминание о конференции Highload Plus 2024 в Сколково.  

• Приглашение обращаться в компанию «Котеллов» для разработки корпоративного ПО.