Архитектура компьютера - Лекция 28: Архитектура систолических массивов (Осень 2023)

• В видео обсуждается концепция систолических массивов, которая была разработана для выполнения сложных вычислений, таких как свертки и фильтрация.  

• Систолические массивы были разработаны как ускорители специального назначения для конкретных приложений, таких как обработка изображений, обработка сигналов и распознавание образов.  

• Системные массивы - это модель выполнения, которая обеспечивает высокую производительность и эффективность для определенных приложений.  

• Они используются в машинном обучении, но не все ускорители машинного обучения являются систолическими массивами.  

• Разработчики систолических массивов стремились создать ускоритель с простым дизайном, высоким уровнем параллелизма, высокой производительностью и эффективностью.  

• Они также хотели сбалансировать вычислительную мощность и пропускную способность ввода-вывода или памяти.  

• Идея заключается в замене одного обрабатывающего элемента обычным массивом обрабатывающих элементов и организации потока данных между ними.  

• Это позволяет увеличить объем вычислений, выполняемых на одном фрагменте данных, и сбалансировать проблемы с вычислениями и памятью.  

• Свертка - это математическая операция, широко используемая в обработке изображений, машинном обучении и других областях.  

• В машинном обучении сверточные нейронные сети используются для распознавания образов, классификации и других задач.  

• Пример использования свертки - распознавание рукописных цифр с использованием многослойной сети.  

• Видео объясняет, что сверточные нейронные сети (CNN) используют двумерные изображения и фильтры свертки для классификации изображений.  

• Фильтры свертки применяются к фрагментам изображения, а затем формируются выходные данные.  

• Свертка может быть реализована как матрично-векторное умножение или с использованием систолических массивов.  

• Сверточные нейронные сети были разработаны для машинного обучения и используются в современных аппаратных ускорителях.  

• Систолические массивы используются для вычисления сверток и других математических операций.  

• Каждый обрабатывающий элемент систолического массива хранит весовые коэффициенты и выполняет умножение и сложение входных данных.  

• Систолические массивы позволяют выполнять вычисления с высокой скоростью и точностью.  

• Видео объясняет концепцию вычисления систолического давления, которая оптимизирует использование памяти и балансирует между вычислениями и доступностью полосы ввода-вывода.  

• Важным аспектом является организация данных и элементов обработки, которые должны соответствовать друг другу.  

• Google создал модуль matrix vector, который является мощным инструментом в их системах.  

• Систолические массивы могут быть двухмерными и соединяться в цепочки для выполнения сложных вычислений.  

• Модель программирования общего назначения может быть преобразована для выполнения более сложных вычислений, разделяя итерации цикла на этапы или сегменты кода.  

• Это позволяет использовать специализированное аппаратное обеспечение для выполнения различных этапов процесса.  

• Систолические массивы имеют множество преимуществ, включая высокую эффективность, многократное использование данных, уменьшение потребности в выборке и повторной выборке, улучшение качества использования пропускной способности памяти, высокий уровень параллелизма и регулярный дизайн.  

• Однако, они также имеют некоторые недостатки, такие как сложность программирования для неправильных параллелей и необходимость поддержки программистов для обеспечения работы.  

• Систолические массивы были впервые разработаны в 1980-х годах для ускорения задач по зрению и робототехнике.  

• Они использовались в CMU для обработки изображений и робототехники, и были подключены к компьютеру с помощью оптимизирующего компилятора.  

• Сегодня систолические массивы используются в Google для обучения с подкреплением, рекомендательных систем, обработки естественного языка, компьютерного зрения и других задач.  

• В ближайшее время состоится чтение о систолических массивах, где будет обсуждаться их использование в Google.  

• Завтра также будет обсуждаться концепция SIMD (single instruction, multiple data), которая также используется для ускорения машинного обучения.