Параллельное программирование-2023 Лекция 1

• Видео начинается с введения в параллельное программирование и обсуждения исторических данных и развития архитектуры компьютеров.  

• Вводятся два основных направления параллелизации: распараллеливание на несколько узлов для ускорения вычислений и распараллеливание на несколько потоков для выполнения разных процессов одновременно.  

• Обсуждается классификация Флина, которая описывает развитие архитектуры компьютеров с точки зрения параллелизма.  

• Рассматриваются векторные и конвейерные архитектуры, а также их применение в промышленности.  

• Обсуждается современная архитектура компьютеров, которая обеспечивает стабильность работы и обеспечивает параллельное выполнение команд и данных.  

• Отмечается, что современные архитектуры превосходят векторные и конвейерные архитектуры по скорости и стабильности работы.  

• Видео начинается с обсуждения параллельного программирования, где автор объясняет, что это процесс, при котором несколько потоков или процессов работают одновременно над одной задачей.  

• Он также упоминает, что параллельное программирование может быть сложным и требует глубокого понимания того, как работают потоки и процессы.  

• Затем автор переходит к обсуждению последовательного программирования, где команды выполняются последовательно, одна за другой.  

• Он отмечает, что это классический подход к программированию, который используется в большинстве языков программирования.  

• В этой части автор обсуждает параллельное программирование, где несколько потоков или процессов могут работать одновременно над одной задачей.  

• Он объясняет, что параллельное программирование может быть более сложным, чем последовательное, из-за отсутствия однозначного состояния программы в любой момент времени.  

• В этой части автор переходит к обсуждению многопоточного программирования, где несколько потоков могут работать одновременно над разными задачами.  

• Он подчеркивает, что многопоточное программирование может быть более сложным, чем параллельное, из-за необходимости более точного разделения данных между потоками.  

• В этой части автор обсуждает переносимость и производительность различных подходов к программированию.  

• Он отмечает, что последовательное программирование имеет преимущество в переносимости, но может быть менее производительным, в то время как параллельное программирование может быть более производительным, но требует специальных инструментов и библиотек.  

• Видео начинается с обсуждения параллельного программирования и его важности для повышения производительности.  

• Параллельное программирование позволяет выполнять несколько задач одновременно, что может значительно ускорить выполнение программы.  

• В параллельных программах используются планировщики, которые отвечают за распределение задач между потоками.  

• Операционная система и архитектура могут влиять на то, как программа будет работать на разных системах и архитектурах.  

• Три основных требования к параллельным программам: масштабируемость, детерминизм и эффективность.  

• Детерминизм - это однозначность данных и результатов, а эффективность - повышение производительности.  

• Поток выполнения кода - это абстракция операционной системы, которая позволяет выполнять некоторые куски кода параллельно.  

• Поток выполнения кода может быть классическим параллелизмом, когда задачи выполняются одновременно, или конкурентностью, когда задачи выполняются последовательно, но зависят от работы других потоков.  

• Видео начинается с обсуждения понятия "поток" и его определения. Поток - это наименьшая единица обработки, которая может быть назначена ядром операционной системы.  

• Поток может быть определен как средство эмуляции параллельного исполнения других потоков, последовательность команд в рамках подпрограммы или наименьшая единица обработки.  

• Поток - это некоторый кусок кода, который может выполняться параллельно независимо от других потоков.  

• Поток может выполняться на одном процессоре или на разных процессорах.  

• Поток может использовать общие ресурсы или работать с собственными данными.  

• Потоки всегда находятся внутри процесса, и они могут использовать общие ресурсы.  

• Потоки могут быть созданы и отправлены на процессоры операционной системой, и мы не знаем, в какой последовательности это происходит.  

• Физически потоки выглядят не так, как мы воспринимаем их, и код является промежуточным переводчиком между тем, что мы хотим, и тем, как это должно работать физически.  

• Для каждого потока есть свой контекст, который включает в себя память и регистры процессора.  

• Переключение контекста между потоками занимает некоторое время, что может съедать всю эффективность параллелизации.  

• Многопоточность позволяет ускорить выполнение программы, если задачи могут быть разделены на несколько потоков.  

• Ускорение может быть достигнуто за счет использования нескольких процессоров или потоков на одном процессоре.  

• Видео приводит примеры многопоточности в программах, таких как Google Chrome, Microsoft Word и PowerPoint.  

• В этих программах разные процессы могут быть в разных потоках, что позволяет выполнять несколько задач параллельно.  

• Временное мультиплексирование - это процесс переключения команд между потоками внутри одного процессора.  

• Это позволяет ускорить выполнение программы, но замедляет ее работу из-за переключения контекста между потоками.  

• Общая память может быть использована несколькими потоками, но неправильное ее использование может привести к проблемам с детерминизмом и потере данных.  

• Автор обсуждает состояние гонки данных, когда порядок выполнения инструкций в программе зависит от операционной системы.  

• Видео обсуждает состояние гонки, когда несколько потоков могут работать с одними и теми же данными, что может привести к непредсказуемым результатам.  

• В примере с двумя строителями, которые используют молоток и отвертку, каждый из них ожидает выполнения условия, которое не может быть выполнено, что приводит к блокировке.  

• Потеря данных может произойти, когда два потока одновременно записывают данные в соседние ячейки памяти, что нарушает консистентность данных.  

• Примитивы синхронизации, такие как семафоры, используются для синхронизации работы потоков и предотвращения потери данных.  

• Семафор - это команда для синхронизации работы потоков, которая позволяет увеличивать или уменьшать счетчик доступа к данным.  

• Двоичный семафор (ютекс) - это примитив синхронизации, который позволяет только одному потоку работать с данными, пока другой ожидает.  

• Видео обсуждает проблему синхронизации при разработке параллельных алгоритмов, которая появилась с появлением векторных суперкомпьютеров.  

• Рассматривается задача об обедающих философах, которая иллюстрирует проблему синхронизации и алгоритм, который должен быть разработан для каждого философа, чтобы избежать голодания.  

• Видео объясняет закон Дава, который позволяет оценить ускорение программы при использовании параллельных алгоритмов.  

• Закон Дава учитывает количество доступных процессоров, долю программы, которая не может быть распараллелена, и долю программы, которая может быть распараллелена.  

• Видео дает общие рекомендации по разработке параллельных программ, такие как разбиение задачи на максимальное количество подзадач, планирование коммуникаций между объектами и классами, а также избегание чрезмерного распараллеливания.  

• Автор приводит примеры использования многопоточности в различных областях, таких как обработка изображений, обработка данных и обработка запросов.  

• Он также обсуждает, как многопоточность может быть использована для ускорения работы с большими объемами данных и для обработки запросов от пользователей.  

• Автор объясняет принципы многопоточности, такие как укрупнение блоков, логический смысл и балансировка нагрузки.  

• Он также обсуждает ошибки, которые могут возникнуть при использовании многопоточности, такие как тупиковые ситуации, гонки за данными и потеря детерминизма.  

• Автор объясняет, как многопоточность может быть использована в реальных бизнес-приложениях, таких как построение маршрутов для службы доставки.  

• Он также обсуждает, как многопоточность может быть использована для улучшения производительности и ускорения работы программ.  

• В видео рассказывается о том, что в многопоточности есть много трудностей, которые возникают на физическом уровне.  

• В ноябре будет лекция о низкоуровневом инструментарии, а в декабре - о более продвинутых инструментах, которые уже реализованы и не требуют дополнительных проверок.  

• В видео объясняется, что один поток и один процесс - это хорошо, а тысячи потоков и процессоров - плохо.  

• Обсуждаются проблемы с общей памятью и контекстом потока, а также различия между потоками и процессами.  

• В декабре начнутся практические занятия, где будут рассмотрены базовые действия и теории, а также примеры решения задач.