Никита Соболев: почему Python медленный и будет ли хуже? / Тех. интервью с Python Core Dev / Часть 1

• Никита Соболев, Cython разработчик, рассказывает о своей работе над различными пакетами в инфраструктуре Python.  

• Никита также ведет YouTube канал с курсами по Python и является комьюнити-лидером в сообществе Python.  

• Интервью будет посвящено техническим вопросам и демонстрации примеров кода.  

• Никита занимается Open Source полный рабочий день и монетизирует это через консалтинг.  

• Он решает проблемы, связанные с Python, такие как масштабируемость и производительность.  

• Интервью будет включать множество технических вопросов и демонстраций кода.  

• Никита рассказывает о структуре команды Cython разработчиков.  

• В команде есть несколько человек, которые работают над конкретными проектами, такими как FastAPI и Nugile.  

• Большинство разработчиков занимаются Open Source на добровольной основе, но есть и те, кто специализируется на определенных модулях.  

• Разработчики могут выбирать, над какими модулями работать, и нет жестких ограничений.  

• Никита предпочитает работать над модулями typing и unit-testing.  

• В Open Source нет бюрократических препятствий, и разработчики могут свободно вносить изменения в любой модуль.  

• Существуют формальные и неформальные каналы общения, такие как форум и закрытые чаты.  

• Никита предпочитает работать над багами, а не над новыми функциями, из-за сложности обсуждений.  

• Рабочие группы, такие как typing consul, занимаются развитием конкретных модулей и проходят этапы обсуждения и согласования.  

• В сообществе есть закрытый чат для быстрого общения и обсуждения пул-реквестов.  

• В Open Source можно решать любые проблемы, что делает его уникальным и привлекательным.  

• Никита выбирает малоизвестный, но запоминающийся пул-реквест для демонстрации.  

• Обсуждение функции гетфол арксспек, которая возвращает только позиционные аргументы.  

• Гетфол арксспек был создан до появления только позиционных аргументов.  

• Автор предлагает за деприкетить эту функцию, так как она неправильно работает.  

• Обсуждение новых фич внутри команды не является обязанностью.  

• Для участия в обсуждении нужно подготовить план и аргументы.  

• Автор предпочитает не участвовать в таких обсуждениях, но может высказать конкретные проблемы.  

• Обсуждение начинается на дискас, где формируется первоначальный пеп.  

• Важно учитывать обратную совместимость и влияние на старые версии.  

• Если нет спонсора, фича может быть отклонена.  

• Спонсор должен поддержать фичу своим временем и поддержкой.  

• Обсуждение продолжается с участием стивен консул, которые могут принять или отклонить фичу.  

• Административная работа стивен консул очень сложна и уважаема.  

• Автор предложил сделать анонимные тайп дикты, но добавил наследование, что усложнило процесс.  

• В итоге, анонимные тайп дикты были добавлены, но скрыты под специальным флагом.  

• Важно учитывать все граничные случаи и поддерживать их.  

• Обсуждение субъективных критериев: обратная совместимость, логичность изменений, производительность.  

• Важность снижения нагрузки при импорте, особенно для модулей стандартной библиотеки.  

• Проблемы с импортом типов и использование отдельной библиотеки для парсинга строковых типов.  

• Поддержка новичков, создающих pull requests, с целью их дальнейшего вовлечения.  

• Разграничение между полезными и ненужными pull requests.  

• Важность поддержки заинтересованности в проекте, даже если конкретный pull request не поддерживается.  

• Python как язык для всех, но сложность последних релизов.  

• Новый REPL как пример улучшения для новичков.  

• Сложность новых функций, таких как аннотации, и их влияние на понимание языка.  

• Появление аннотаций в Python 3.10 и их влияние на существующие библиотеки.  

• Проблемы с преобразованием объектов в строки и обратно.  

• Введение дескриптора аннотаций для решения этих проблем, но его сложность.  

• Сохранение обратной совместимости для старых версий Python.  

• Введение новых функций, таких как дженерики, и их влияние на библиотеки.  

• Необходимость обновления библиотек для поддержки новых функций.  

• Легаси код в Python вызывает много проблем из-за обратной совместимости.  

• Рефакторинг часто приводит к поломкам, так как тесты не покрывают все возможные случаи.  

• Политика компании: не рефакторить без необходимости, чтобы избежать проблем.  

• Рефакторинг может быть необходим для улучшения производительности.  

• Важно учитывать, что рефакторинг может сломать обратную совместимость.  

• Примеры: замена базового класса на более современный, изменение свойств с геттерами и сеттерами.  

• Оптимизация кода должна быть обоснована и подтверждена тестами.  

• Даже небольшие изменения могут привести к значительным улучшениям.  

• Примеры: добавление кэша для редко вызываемых функций, использование типов данных.  

• В Python долгое время не было классического switch-case оператора.  

• MatchCase был добавлен для распаковки значений и паттерн-матчинга.  

• MatchCase усложняет код, но добавляет новые языковые возможности.  

• Python может стать языком для дата-сайнс и искусственного интеллекта.  

• Ожидается увеличение числа пользователей и предложений по улучшениям.  

• Это может привести к появлению новых функций для поддержки этих кейсов.  

• Microsoft выделила деньги на разработку Python, но не стала полным спонсором.  

• Компании понимают, что опенсорс требует баланса интересов.  

• Пример Swift показывает, что монополия на язык может привести к его деградации.  

• Опенсорс позволяет компаниям использовать ресурсы бесплатно.  

• Компании понимают важность баланса интересов в опенсорс проектах.  

• Пример Swift показывает, как монополия может привести к деградации языка.  

• Python остается ничьим, что позволяет всем компаниям влиять на него.  

• Многие компании поддерживают опенсорс, но не все.  

• Пример IBM и Linux показывает, что крупные компании могут выделять ресурсы на патчи.  

• В стандартную библиотеку попадают только стабильные и не меняющиеся проекты.  

• Это позволяет пользователям использовать библиотеки на разных версиях Python.  

• Пример с модулем email показывает, что поддержка стандартной библиотеки требует много ресурсов.  

• В Python используется стековая виртуальная машина для исполнения байт-кода.  

• Вопрос о переходе на регистровую виртуальную машину остается открытым.  

• Обсуждение преимуществ и недостатков различных типов виртуальных машин.  

• Стек используется для хранения объектов, нуждающихся в поведении.  

• Пример: сложение двух объектов требует наличия двух объектов на стеке.  

• Регистровая виртуальная машина использует массив, который должен соответствовать количеству регистров процессора.  

• Регистровая виртуальная машина позволяет лучше разложить данные для повышения скорости.  

• Обсуждение создания регистровой виртуальной машины для Python.  

• Проблемы с архитектурой и изменениями в работе Python.  

• Виртуальная машина генерируется с помощью байт-кода.  

• В Python есть несколько типов виртуальных машин: стандартная, tier-1 и tier-2.  

• Полуреквесты показывают изменения в поведении вычислений.  

• Регистровая виртуальная машина отличается от стековой по способу укладки объектов в памяти.  

• Оптимизация кода зависит от конкретной архитектуры процессора.  

• Регистровая виртуальная машина ускоряет выполнение кода за счет правильного распределения памяти.  

• Регистровая виртуальная машина полезна для стандартизации обходов и оптимизации.  

• Эксперименты показали улучшение производительности, но объем работы велик.  

• В ближайшее время в Python не ожидается значительных изменений в виртуальной машине.  

• Вопрос о Low Level Virtual Machines LLVMS и их использовании в Python.  

• Обсуждение целесообразности использования LLVMS и их отправки в LLVM.  

• JIT позволяет компилировать части Python с помощью Clang.  

• Для включения JIT требуется версия Python 19 или выше.  

• Интеграция с Clang улучшает производительность Python.  

• Количество интеграций с Clang будет увеличиваться.  

• JIT был внедрен без широкого обсуждения, что привело к непониманию его работы.  

• Ожидается появление второго поколения JIT, более интегрированного с LLVM.  

• JIT генерирует нативный код, который встраивается в Python.  

• LLVM Clang генерирует более оптимальный ассемблер.  

• Виртуальная машина LLVM имеет микрооперации, что улучшает компиляцию.  

• JIT в PyPy генерирует большие куски кода, что менее оптимально.  

• JIT в Python позволяет получить значительное улучшение производительности.  

• Интеграция JIT требует сохранения всех нюансов реализации Python.  

• GIL решает проблему состояния гонок в Python.  

• GIL позволяет безопасно выделять и освобождать память.  

• GIL используется для выполнения нативного кода синхронно.  

• GIL — это структура данных в Python.  

• Макрос Py_GIL_Unlocked освобождает GIL для выполнения нативного кода.  

• GIL позволяет выполнять синхронный код в Python.  

• В Python есть 73 файла с вариантами освобождения GIL.  

• Py_GIL_Unlocked сохраняет и восстанавливает состояние GIL.  

• Это позволяет выполнять синхронный код в Python.  

• Сохранение потока в операционной системе с сохранением регистров.  

• Использование функции pthread_state_get для получения текущего состояния потока.  

• Переключение контекста выполнения с помощью pthread_state_touch.  

• Изменение внутреннего поля pthread_state для маскировки неактивных потоков.  

• Проверка активности потоков в цикле вычисления.  

• Отключение GIL для конкретного вызова.  

• Добавление поддержки no-GIL для различных структур данных.  

• Устранение гонок в байтовых операциях.  

• Использование макросов для атомарных действий.  

• Создание критических секций для корректной работы объектов.  

• Использование атомарных операций для замены неатомарных действий.  

• Проверка выполнения внутри критической секции.  

• Описание параметров функций в текстовом формате.  

• Использование декораторов для указания мета-параметров.  

• Применение декоратора critical_section для атомарных операций.  

• Оптимизация кода при включенном GIL.  

• Увеличение времени выполнения при выключенном GIL.  

• Обсуждение и замеры производительности.  

• Использование локальных мьютексов для критических секций.  

• Пример функции, определяющей мьютекс для байтового объекта.  

• Потока безопасность в коллекциях с использованием мьютексов.  

• В Python 3.11 добавлены улучшения для обеспечения безопасности потоков.  

• Один объект может изменяться только одним потоком одновременно.  

• Это гарантирует, что несколько потоков не могут мутировать один и тот же объект одновременно.  

• На уровне CPython есть гарантии безопасности, но на уровне кода Python их нет.  

• Написание потокобезопасного кода требует глубокого понимания реализации языка.  

• Введение потоков усложняет написание простого и понятного кода.  

• Акторная модель предлагает изоляцию объектов и обмен сообщениями.  

• Это делает код более понятным и удобным для работы.  

• В CPython акторная модель пока не внедрена, но планируется.  

• Мемо-ревью позволяет работать с памятью без копирования данных.  

• Это полезно для интеграции с другими языками программирования.  

• Мемо-ревью показывает уже существующую память, что ускоряет работу.  

• Инкрементальный сборщик мусора в Python 3.13 был заменен на новый.  

• Новый сборщик мусора влияет на скорость работы и чистоту вызовов.  

• Новый сборщик мусора будет использовать несколько остановок для оптимизации производительности.  

• Python 3.14 добавляет новые сложные функции, что усложняет его использование.  

• Взаимодействие новых функций делает Python значительно сложнее.  

• Сравнение версий Python 3.9 и 3.14 показывает значительное увеличение сложности.  

• Компании, работающие с Python в продакшне, часто отключают сборщик мусора для повышения производительности.  

• Отключение сборщика мусора позволяет избежать дополнительных циклов вызова GC.  

• Внешний сборщик мусора помогает перезапускать процессы при достижении лимитов памяти.  

• Отключение сборщика мусора увеличивает потребление памяти, но это не всегда заметно в больших проектах.  

• В современных условиях память должна быть быстрой, поэтому использование низкоуровневых языков для научных вычислений предпочтительнее.  

• В Python есть библиотеки, такие как Ray, которые позволяют оптимизировать производительность, но это требует переписывать код.  

• Python предоставляет C API для написания оптимизированного кода.  

• Высокоуровневые языки, такие как Python, не могут обеспечить оптимальную производительность без понимания архитектуры процессора.  

• Оптимальный код можно написать, комбинируя высокоуровневый Python с C для конкретных кейсов.  

• Сериализация и десериализация данных в Python могут быть медленными, особенно при высокой нагрузке.  

• Оптимизация этих процессов требует понимания архитектуры процессора и написания кода, который вызывает C API.  

• Использование примитивов в C API для оптимизации кода может значительно улучшить производительность.  

• Rust также позволяет писать оптимизированный код, который можно комбинировать с Python.  

• Компании часто используют Rust и Python для создания производительного кода.  

• Объединение Python и Rust позволяет создавать код, который могут поддерживать и оптимизировать как джуны, так и сеньоры.  

• В Python asyncio мало мейтейнеров, что затрудняет поддержку.  

• Текущие мейтейнеры: Гвинна ван Россем, Кэрол Уиллинг, Андрей Светлов, Юрий Селиванов и еще один человек.  

• Новые функции не добавляются, что приводит к застою.  

• Юрий Селиванов работает над новой функцией для asyncio.  

• Автор не любит asyncio из-за сложности и отсутствия практической пользы.  

• Python и его фреймворки, такие как Django, были проще и эффективнее в прошлом.  

• Современные подходы к программированию усложняют жизнь разработчикам.  

• В прошлом достаточно было знать Python и Django для создания производительных приложений.  

• Сейчас требуется глубокое понимание Docker, контейнеров и других технологий.  

• Автор предпочитает использовать Gevent вместо asyncio.  

• Синхронный Python имеет свои ограничения, такие как блокировка функции print.  

• Использование других языков программирования, таких как Elixir и Elm, может быть более эффективным.  

• Asyncio не стал полноценной заменой синхронного Python.  

• Реализация asyncio в Python сложна и требует глубокого понимания виртуальной машины и низкоуровневых технологий.  

• Автор рекомендует посмотреть видео на YouTube для лучшего понимания работы asyncio.  

• В коде есть несколько действий, первое из которых - протокол гетто.  

• Для выполнения гетто используется байт-код кета.  

• После гетто вызывается метод сент для передачи данных в кортину.  

• Если объект является намн или пайтер чек, выполняется прямой вызов сишного кода.  

• Если нет, вызывается конкретный метод объекта.  

• Последний байт-код - елт, который возвращает значение наружу.  

• Э-вейт передает управление вызываемому объекту и приостанавливает текущий объект.  

• Если объект - обычная крутина, он исполняется как функция.  

• Если это айо, вызывается низкоуровневое апи, и объект ставится в очередь для последующего выполнения.  

• В цикле событий задачи периодически проверяются на готовность к выполнению.  

• Операционная система управляет этим процессом.  

• В Python есть разные реализации для разных систем, например, для юникса и виндоус.  

• В юниксе используется базовый селектор для работы с сокетами.  

• Селектор позволяет обрабатывать события от операционной системы.  

• Для чтения и записи данных используются методы эдридер и эдрайтер.  

• В линуксе недавно добавили системный вызов для синхронной работы с файлами.  

• Это позволит работать с файлами в неблокирующем режиме.  

• Возможно, в будущем это добавят и в питон.  

• Форфакшн позволяет вызывать функции на другом языке программирования.  

• В питоне это реализуется через интерфейс C API.  

• Для вызова функций нужно реализовать бинарную совместимость и десериализацию.  

• Для вызова функций на других языках нужно подготовить параметры и проверить их корректность.  

• В питоне это проще сделать, чем в других языках.  

• Важно проверять размерность и кодировку данных перед вызовом функций.  

• Вызов функций в Python - сложная задача.  

• Существуют разные типы функций: хищные и паттернские.  

• Оптимизация включает работу с байт-кодом и фреймами.  

• Оптимизация байт-кода ускоряет выполнение функций.  

• Оптимизация работы с код-объектами и фреймами ускоряет вызовы.  

• Возможность использования легковесных фреймов для функций без аргументов.  

• В Python 3.9 добавлен протокол tp-vector-col для упаковки объектов аргументов.  

• Это влияет на скорость вызова функций, особенно для сишных функций.  

• Оптимизация типов и проверка типов - тир два оптимизации.  

• Микрооперации позволяют выполнять сложные операции быстрее.  

• Оптимизация вызова функций - отдельное направление.  

• В Python много типов функций, включая лямбда-функции и методы.  

• Трассировка вызовов функций добавляет накладные расходы.  

• Без трассировки невозможно понять, что случилось в коде.  

• Это необходимый процесс для отладки.  

• Основная проблема - контракт на обратную совместимость.  

• Изменения в оптимизации байт-кода могут сломать существующие инструменты.  

• В Python уже реализована инфраструктура, что усложняет изменения.  

• Джит-компилятор - первый шаг к полноценному джету.  

• ЛВМ добавлен для компиляции больших кусков кода.  

• Трассирующий джит позволяет анализировать и оптимизировать выполнение.  

• Python сложнее оптимизировать, чем другие интерпретируемые языки, такие как Ruby и JavaScript.  

• Python изначально создавался для работы с бинарными зависимостями, что усложняет оптимизацию.  

• JavaScript изначально не был ориентирован на работу с бинарными зависимостями, что позволило упростить оптимизацию.  

• Python не может менять структуру памяти без значительных изменений, что усложняет оптимизацию.  

• Ruby, как менее используемый язык, может проще ломать и переделывать код.  

• Python требует сохранения совместимости с другими частями языка, что усложняет изменения.  

• Cython используется в проектах, таких как Yolov3, для оптимизации.  

• Cython позволяет писать код на собственном языке, что упрощает разработку.  

• Cython не интегрирован в Python, чтобы избежать проблем с совместимостью и поддержкой.  

• В Python нет асинхронности или параллельности, что упрощает код.  

• Оптимизации на уровне AST позволяют выполнять константные операции с литералами.  

• В будущем планируется перенести оптимизации на уровень компилятора для большей эффективности.  

• Оптимизации на уровне AST происходят один раз, а затем компилятор улучшает код.  

• В следующем выпуске будут обсуждаться влияние Python на мир, его будущее и личные взгляды на проблемы языка.  

• Видео будет менее техническим и более разговорным.