Как работают Видеокарты? Исследуем архитектуру GPU [Branch Education на русском]

• Видеокарта выполняет около 36 триллионов вычислений в секунду.  

• Для сравнения: игра «Марио 64» в 1996 году требовала всего 100 миллионов вычислений в секунду.  

• Чтобы достичь вычислительной мощности видеокарты, потребовалось бы около 4400 планет Земля.  

• GPU имеет более 10 тысяч ядер, а CPU — всего 24 ядра.  

• Аналогия: GPU — грузовой корабль, CPU — пассажирский самолёт.  

• GPU быстрее обрабатывает большие объёмы данных, но медленнее выполняет небольшие вычисления.  

• CPU универсальнее, может выполнять разнообразные программы и инструкции.  

• Чип GPU содержит 28,3 миллиарда транзисторов.  

• Чип разделён на семь графических процессорных кластеров GPC.  

• Каждый кластер содержит 12 потоковых мультипроцессоров SM.  

• Внутри SM находятся варпы с ядрами CUDA, тензорными ядрами и ядрами трассировки лучей.  

• Ядра CUDA выполняют базовые арифметические операции, используемые в видеоиграх.  

• Тензорные ядра применяются для геометрических преобразований и работы с нейронными сетями.  

• Ядра трассировки лучей используются для алгоритмов трассировки лучей.  

• Видеокарты 3080, 3090, 3080 Ti и 3090 Ti используют один и тот же дизайн чипа GA102.  

• Дефекты в чипах изолируются и отключаются, что влияет на количество активных ядер.  

• Разные видеокарты отличаются максимальной тактовой частотой и количеством графической памяти.  

• Ядро CUDA содержит схему из 410 тысяч транзисторов.  

• Выполняет операцию FM с 32-битными числами с плавающей запятой.  

• Обрабатывает отрицательные числа и выполняет простые операции, такие как побитовый сдвиг и битовое маскирование.  

• Контроллеры графической памяти, контроллеры NVLink и интерфейс PCIe.  

• Быстрая кэш-память второго уровня объёмом 6 МБ.  

• Движок GigaThread управляет графическими кластерами и потоковыми мультипроцессорами.  

• Модуль регулировки напряжения преобразует 12 В в 1,1 В.  

• Радиатор с четырьмя тепловыми трубками переносит тепло от процессора к вентиляторам.  

• 24 ГБ графической памяти GDDR6X SDRAM, произведённой компанией Micron.  

• Время загрузки видеоигры связано с перемещением трёхмерных моделей с SSD в чипы графической памяти.  

• Графический процессор имеет кэш второго уровня размером 6 МБ для хранения данных.  

• Для отрисовки сцены данные постоянно передаются между графической памятью и GPU.  

• 24 чипа графической памяти передают 364 бита данных одновременно, обеспечивая пропускную способность около 1,15 ТБ/с.  

• Оперативная память имеет ширину шины 64 бита и пропускную способность около 64 ГБ/с.  

• GDDR6X и GDDR7 используют трехуровневую амплитудно-импульсную модуляцию PAM-3 для кодирования битов.  

• PAM-3 позволяет передавать 276 двоичных битов с помощью 176 троичных цифр.  

• Переход на PAM-3 упрощает кодировщик, улучшает соотношение сигнал/шум и повышает энергоэффективность.  

• Micron разрабатывает высокоскоростную память HBM для чипов искусственного интеллекта.  

• HBM3.1 может содержать от 24 до 36 ГБ памяти, обеспечивая до 192 ГБ высокоскоростной памяти вокруг чипа ИИ.  

• HBM3.1 потребляет на 30% меньше энергии, чем конкуренты.  

• Графические процессоры используют принцип SIMD одна инструкция — множество данных для выполнения параллельных операций.  

• Пример использования SIMD: преобразование вершин из пространства модели в мировое пространство для рендеринга видеоигр.  

• Потоки объединяются в группы по 32, называемые варпами.  

• Варпы группируются в блоки потоков, управляемые потоковым мультипроцессором.  

• Блоки потоков группируются в сетку, обрабатываемую по всей видеокарте.  

• SIMT одна инструкция — множество потоков позволяет потокам выполняться с разной скоростью.  

• Каждый поток имеет свой счётчик команд и использует общий L1-кэш размером 128 КБ.  

• SIMT обеспечивает большую гибкость при обработке ветвлений в программном коде.  

• Видеокарты изначально использовались для майнинга биткоинов из-за их способности выполнять параллельные вычисления.  

• Алгоритм SHA-256 применяется для создания блоков в блокчейне, генерируя случайные 256 бит хэш.  

• Процесс майнинга можно представить как генератор лотерейных билетов, где невозможно выбрать номер билета.  

• Алгоритм SHA-256 создаёт случайный номер билета на основе входных данных.  

• Изменение значения NONNS генерирует новый случайный номер.  

• Победитель лотереи — первый хэш с первыми 80 битами, равными нулю.  

• Награда за выигрышный билет — 3 биткоина.  

• Видеокарты выполняли тысячи итераций алгоритма с одинаковыми транзакциями и разными значениями NONNS, генерируя около 95 миллионов хэшей в секунду.  

• Современные компьютеры с ASIC генерируют 250 триллионов хэшей в секунду, что эквивалентно 2600 видеокартам.  

• Использование видеокарт для майнинга сравнимо с «копкой биткоинов ложкой» по сравнению с «экскаватором» в виде ASIC-майнинг-компьютера.  

• Тензорные ядра выполняют матричные операции: умножение двух матриц и добавление третьей.  

• Все значения трёх входных матриц готовы одновременно, что позволяет выполнять сложные операции умножения и сложения матриц параллельно.  

• Нейронные сети и генеративный искусственный интеллект требуют от триллионов до квадриллионов таких операций.  

• Ядра трассировки лучей рассмотрены в отдельном видео на канале.  

• Благодарность спонсорам и подписчикам за поддержку.  

• Призыв поддержать канал и посмотреть другие видео.