Лекция 2, Векторные и матричные нормы, унитарные матрицы, SVD

• Изучение норм векторов и матриц.  

• Введение в матричные разложения, включая сингулярное разложение.  

• Графики, показывающие ускорение производительности компьютеров.  

• Закон Мура: производительность растет экспоненциально.  

• Ускорение в решении задач за счет методов вычислительной линейной алгебры.  

• Список десяти важнейших алгоритмов 20 века.  

• Методы, основанные на разложениях матриц.  

• Куар-алгоритм для вычисления собственных значений.  

• Итерационные методы подпространства Крылова.  

• Быстрое преобразование Фурье.  

• Определение векторного нормированного пространства.  

• Важность нормы для оценки ошибки в решении линейных систем.  

• Свойства нормы: неотрицательность, равенство нулю, умножение на скаляр, неравенство треугольника.  

• Определение полного пространства.  

• Критерий Коши сходимости последовательностей.  

• Большинство рассматриваемых пространств полные.  

• Определение п-нормы для векторов с действительными или комплексными компонентами.  

• Примеры п-норм: п=1, п=2, п=∞.  

• Доказательство неравенства Гельдера.  

• Все нормы в конечномерных пространствах равносильны.  

• Определение эквивалентности норм.  

• Возможность использования любой нормы в зависимости от задачи.  

• Определение скалярного произведения.  

• Свойства скалярного произведения.  

• Важность скалярного произведения для второй нормы.  

• Обозначения векторов и матриц.  

• Линейная комбинация столбцов и строк матрицы.  

• Ирмитово сопряжение и его применение.  

• Матрицы можно умножать, представляя их как наборы строк и столбцов.  

• Произведение матриц можно записать как сумму произведений столбцов одной матрицы на соответствующие строки другой.  

• Это позволяет упростить вычисления и представить результат в виде матрицы.  

• Матрица называется квадратной, если она имеет собственные числа и собственные векторы.  

• Собственные числа являются корнями характеристического уравнения.  

• Собственные векторы можно представить в виде матрицы, где каждый столбец является собственным вектором.  

• Матрицы можно представить в виде прямоугольных блоков.  

• Произведение таких матриц также можно представить в блочном виде.  

• Это позволяет сократить выкладки и упростить вычисления.  

• Матричное пространство является векторным пространством.  

• Матричная норма должна удовлетворять свойствам векторной нормы и субмультипликативности.  

• Норма Фробениуса удовлетворяет этим условиям и является примером матричной нормы.  

• Норма Фробениуса вычисляется как сумма квадратов модулей элементов матрицы.  

• Доказывается, что эта норма удовлетворяет свойству субмультипликативности.  

• Пример показывает, что не все векторные нормы являются матричными нормами.  

• Линейный оператор отображает одно векторное пространство в другое.  

• Норма линейного оператора определяется как супремум отношения нормы вектора к норме оператора.  

• Это определение можно перенести на матрицы, что позволяет порождать матричные нормы.  

• Рассматриваются матричные нормы для п норм векторов.  

• Для п=1 норма матрицы вычисляется как максимальная сумма модулей по столбцам.  

• Для п=2 норма матрицы равна максимальному сингулярному числу.  

• Вводится понятие изометричных матриц, которые сохраняют норму вектора при умножении.  

• Матрица называется изометричной, если норма вектора после умножения на нее не меняется.  

• Рассматриваются п нормы и их свойства для изометричных матриц.  

• Норма всех столбцов изометричной матрицы равна единице.  

• Матрица сохраняет п норму, если транспонированная матрица сохраняет двойственную норму.  

• Для п=2 изометричные матрицы включают единичную матрицу и почти единичные матрицы.  

• Матрицы сохраняют вторую норму, что приводит к ортонормированности столбцов.  

• Матрица, обратная к изометричной матрице, равна сопряженной матрице или транспонированной, если элементы действительные.  

• Унитарная матрица сохраняет норму векторов.  

• Обратная к унитарной матрице также унитарная.  

• Произведение унитарных матриц также унитарно.  

• Любая квадратная матрица может быть представлена как произведение унитарных матриц и верхней треугольной матрицы.  

• Унитарные матрицы просты и сохраняют норму векторов.  

• Теорема Шура позволяет представить произвольную матрицу в виде произведения простых матриц.  

• Выбор собственного вектора и ортонормированного базиса.  

• Умножение матрицы на собственный вектор и ортонормированный базис.  

• Доказательство по индукции для подматриц.  

• Нормальная матрица удовлетворяет условию: a*a = a*a.  

• Примеры нормальных матриц: эрмитовы и унитарные матрицы.  

• Теорема: нормальная матрица имеет ортонормированный базис из собственных векторов.  

• Матрица приводится к диагональному виду с помощью унитарной матрицы.  

• Разложение матрицы в произведение двух унитарных матриц и диагональной матрицы.  

• Это разложение лучше, чем разложение Шура, так как проще.  

• Если существует ортонормированный базис собственных векторов, то матрица будет нормальной.  

• Доказательство: умножение матрицы на сопряженную дает диагональную матрицу с модулями собственных чисел в квадрате.  

• Если матрица нормальная, то существует ортонормированный базис из собственных векторов.  

• Матрица представляется в виде произведения верхней треугольной матрицы и сопряженной.  

• Доказательство: умножение матриц приводит к диагональной матрице с собственными числами на диагонали.  

• Матрица становится диагональной, что означает существование ортонормированного базиса из собственных векторов.  

• Нормальная матрица позволяет легко вычислять степени матриц.  

• Умножение нормальной матрицы на вектор зависит только от собственных чисел.  

• Нормальная матрица является эрмитовой, если все собственные числа действительны, и унитарной, если все собственные числа равны единице.  

• Определение положительно определенной и полуопределенной эрмитовой матрицы.  

• Матрица называется положительно определенной, если скалярное произведение любого ненулевого вектора с ней строго больше нуля.  

• Матрица положительно полуопределенная, если скалярное произведение больше или равно нулю.  

• Для любой матрицы можно построить положительно полуопределенную матрицу.  

• Матрица приводится к диагональному виду с помощью унитарной матрицы.  

• Собственные числа положительно полуопределенной матрицы неотрицательные и могут быть записаны как квадраты других чисел.  

• Обозначим через р число ненулевых сингулярных чисел.  

• Рассмотрим обрезанные матрицы: В большое с индексом р и сигма большое с индексом р.  

• Первые р сингулярных чисел строго положительны.  

• Запишем произведение матриц Вр и сигма р.  

• Матрицу сигма можно обратить, так как она квадратная и на диагонали не нулевые элементы.  

• Умножение на сигма р в минус первой дает единичную матрицу.  

• Введем матрицу У = А на Вр на сигма р в минус первой.  

• Унитарная матрица У имеет ортонормированные столбцы.  

• Матрица У со звездочкой на У дает единичную матрицу.  

• Рассмотрим равенство для и от единицы до р.  

• Матрица, у которой каждый столбец - произведение сигма и на уи.  

• Матрица А умножить на Вр равна нулю при и больше р.  

• Достроим У до унитарной матрицы размера м на м.  

• Получим сингулярное разложение А = У на сигма на В со звездой.  

• Ранг матрицы А равен рангу матрицы сигма, который равен р.  

• Любая прямоугольная матрица ранга р имеет разложение.  

• Матрица А = У на сигма на В со звездой, где сигма диагональная и В со звездой унитарная.  

• Первые р чисел на диагонали сигма не нулевые, остальные нулевые.  

• Сингулярное разложение позволяет представить любое линейное отображение.  

• Матрицы унитарные соответствуют повороту, а сигма - растяжению.  

• Сингулярное разложение имеет большое значение в вычислительной линейной алгебре.  

• Матрицу можно задать количеством параметров м плюс н умножить на р.  

• Сингулярное разложение позволяет записать матрицу в виде с разделенными переменными.  

• Умножение матрицы на вектор можно выполнить с помощью сингулярного разложения.  

•   

• Формулировка теоремы Экарта-Янга без доказательства.  

• Матрица с индексом р является наилучшим малоранговым приближением к исходной матрице.  

• Ошибка в норме Фробениуса равна сумме квадратов отброшенных сингулярных чисел.  

• Малоранговые матрицы требуют меньше элементов для хранения и быстрее умножаются.  

• В приложениях часто встречаются матрицы, хорошо приближаемые матрицами малого ранга.  

• Сингулярное разложение позволяет решать многие задачи.  

• Создание массива координат точек и вычисление значений функции.  

• Построение графика функции и анализ её гладкости.  

• Применение сингулярного разложения для матрицы значений функции.  

• Задание количества сохраняемых сингулярных чисел и вычисление приближенной матрицы.  

• Проверка ошибки в норме Фробениуса и сравнение с исходным массивом.  

• Сжатие данных и влияние количества сохраняемых сингулярных чисел на точность.  

• Применение сингулярного разложения к изображению.  

• Чтение изображения в многомерный массив и вычисление сингулярного разложения.  

• Обрезка и округление приближенной картинки для сохранения качества.  

• Сравнение исходной и приближенной картинки.  

• Влияние количества сохраняемых сингулярных чисел на сжатие изображения.  

• Быстрота и применимость сингулярного разложения в различных задачах.  

• Введение в векторные и матричные нормы.  

• Определение матричной нормы и примеры.  

• Обзор полезных классов матриц: унитарные, эрмитовы самосопряженные, нормальные и знакоопределенные.  

• Разложение Шура и разложение нормальной матрицы.  

• Сингулярное разложение и его использование в конструировании методов.  

• Благодарность за внимание.