Андрей Паньгин - Разработка высоконагруженного сервера на Java

• Портал обслуживает более 8 тысяч серверов и систем хранения данных, ежедневно посещает до 48 миллионов человек.  

• Архитектура включает фронтенды, бизнес-логику, хранилище данных и другие компоненты.  

• Финализаторы в системном классе могут вызывать проблемы с памятью и производительностью.  

• Использование селекторов и нативных библиотек позволяет работать с сокетами операционной системы и балансировать нагрузку между ядрами процессора.  

• Пример сервера, который возвращает текст по запросу и использует библиотеку для работы с сокетами.  

• Библиотека позволяет балансировать нагрузку между ядрами процессора и выполнять длинные запросы в отдельном пуле потоков.  

• Автор хотел бы узнать о преимуществах своей библиотеки по сравнению с другими, такими как Apache.  

• C# используется для серверной части портала, так как он имеет лучшую производительность и безопасность, чем Java.  

• C# также используется для разработки мобильных приложений.  

• C# имеет проблемы с производительностью и сложностью, особенно при работе с большими объемами данных.  

• C# также имеет проблемы с безопасностью, так как он не имеет встроенной безопасности.  

• В видео обсуждается эволюция классов в программировании, которая может включать добавление, удаление или изменение полей класса.  

• Для поддержки обратной совместимости и эволюции классов необходимо поддерживать совместимость между разными версиями классов.  

• В видео описывается реализация эволюции классов в библиотеке, которая позволяет компактно и быстро стерилизовать классы.  

• В процессе эволюции классов может потребоваться обмен схемами между клиентом и сервером.  

• В видео обсуждаются проблемы, с которыми приходится сталкиваться при реализации эволюции классов, такие как доступ к приватным полям чужих классов и создание объектов без вызова конструктора.  

• В видео также обсуждаются преимущества использования собственной реализации эволюции классов по сравнению с использованием других библиотек.  

• В видео обсуждается использование аннотации для переименования полей и использование джексона для сериализации и десериализации объектов.  

• Обсуждается, что стандартный калькулятор не поддерживает использование недокументированных классов и может быть отключен с помощью секретного ключа.  

• В видео рассказывается о том, как можно использовать джексон с кэшированием для ускорения работы с объектами.  

• Обсуждаются различные способы кэширования, такие как использование нативных библиотек джейна, директ буфера, медиатора и анселя.  

• В видео говорится о том, что в больших кластерах использование кэширования может быть затруднено из-за проблем с памятью и сборкой мусора.  

• Обсуждаются различные решения для кэширования, такие как использование нативных библиотек джейна, директ буфера, медиатора и анселя, а также создание собственного велосипеда для кэширования.  

• В видео подчеркивается важность персистентности кэшированных данных, чтобы они не пропадали при перезагрузке сервера или обновлении приложения.  

• Обсуждаются способы сохранения данных на диске или в других хранилищах для обеспечения персистентности.  

• Обсуждаются различные варианты сохранения образа дыхания на диске, включая остановку работы дыхания, сброс всех данных в режим памяти и продолжение работы.  

• На практике обычно прибегают к сбросу данных по сегментам, блокируя одну небольшую часть КША и сбрасывая ее на диск, затем следующую часть и так далее.  

• Обсуждается использование блокировки для предотвращения параллельных конкурентных чтений и записей, чтобы не испортить данные, которые сбрасываются на диск.  

• Также упоминается процесс, который содержит кэш и раздваивается при попытке модификации страницы, что позволяет сбрасывать кэш на диск, не останавливая приложение.  

• Разделяемая память используется для сохранения данных, которые обновляются в приложении, чтобы они не пропадали при обновлении приложения.  

• В Linux разделяемая память представлена как псевдофайловая система, которая монтируется в область оперативной памяти, доступную для нескольких процессов.  

• Объекты разделяемой памяти в Linux могут быть представлены как файлы, что позволяет использовать системный вызов sendfile для отправки данных из памяти в сокет, минуя необходимость копирования в промежуточный буфер.  

• В видео рассказывается о том, как можно работать с удаленными объектами, используя механизм удаленного вызова процедуры.  

• В заключении обсуждаются вопросы о том, можно ли утверждать, что "молок" хорошо работает для объектов разного размера, а также о том, что Java не предназначена для высоких нагрузок.  

• Видео обсуждает паузы, которые возникают при использовании коллектора.  

• Коллектор может останавливать все потоки приложений, но чаще используется для выполнения фоновых задач.  

• Сборка мусора может быть остановлена на время маркировки и ремаркировки объектов.  

• В некоторых случаях паузы могут быть слишком короткими, что приводит к полной сборке мусора.  

• Коллектор старается выдержать паузу в 200 миллисекунд, но при коротких паузах может не успевать очищать память.  

• В результате полной сборки мусора может произойти при коротких паузах.  

• Универсальных рекомендаций по использованию коллектора нет, так как приложения и сценарии использования памяти разные.  

• В видео обсуждается пауза в сборке мусора, которая может быть вызвана различными причинами, такими как полная сборка мусора, использование сборщика мусора, который не является оптимальным, или выполнение операций, которые требуют остановки всех потоков приложения.  

• Автор предлагает использовать флаги для отслеживания и устранения проблем, связанных с паузами в сборке мусора.  

• Автор обсуждает оптимизацию сборки мусора, которая может быть достигнута путем изменения параметров сборщика мусора, таких как количество потоков-воркеров и время ожидания перед запуском сборки мусора.  

• Также обсуждаются проблемы, связанные с использованием сборщика мусора, такие как фрагментация памяти и неполное использование памяти.  

• В видео обсуждаются операции с памятью, которые могут занимать продолжительное время и приводить к паузам в сборке мусора, такие как копирование больших массивов и работа с неп байбусами.  

• Автор предлагает оптимизировать эти операции, используя буферы и записывая данные на диск, чтобы избежать проблем с паузами в сборке мусора.  

• Автор обсуждает рекомендации по оптимизации памяти в Java-приложениях.  

• Он предлагает использовать простые структуры данных, избегать создания объектов с большим количеством полей и использовать массивы вместо объектов.  

• Автор приводит примеры оптимизации памяти, такие как использование пяти полей вместо одного объекта, разбиение большого объекта на несколько объектов и использование примитивных коллекций вместо объектов.  

• Автор обсуждает проблемы с фрагментацией памяти, которые могут возникнуть при работе с большими объектами и рекомендует разбивать такие объекты на несколько объектов.