Оселедец И.В.- Математика для анализа данных. Часть 1 - Лекция 2. Матрицы и операции с ними

• Лекция посвящена матрицам и операциям с ними.  

• Переход от работы с числами с плавающей точкой к векторам и матрицам.  

• Обсуждение свойств матриц и их связи с векторами.  

• Обсуждение умножения матрицы на вектор и ранга матрицы.  

• Введение в сингулярное разложение и его приложения.  

• Лекция будет интенсивной и, возможно, не все успеем обсудить.  

• Матрицы можно представить как последовательность векторов-столбцов.  

• Пример матрицы 3x3 и её свойства.  

• Матрицы могут выражать свойства пространства и преобразования векторов.  

• Матрицы можно записывать поэлементно.  

• Обозначение матриц как квадратных скобок.  

• Операции с матрицами: сложение, умножение на скаляр и умножение на вектор.  

• Матрицу можно умножать на вектор, если размерность вектора совпадает с количеством столбцов матрицы.  

• Пример умножения матрицы на вектор.  

• Обсуждение сложности операции умножения матрицы на вектор.  

• Умножение матрицы на вектор можно рассматривать как вычисление линейной комбинации столбцов.  

• Пример использования стандартного пакета для умножения матрицы на вектор.  

• Задание случайной матрицы и вектора для демонстрации операции.  

• Умножение матрицы на вектор: результат умножения матрицы на вектор.  

• Умножение одной матрицы на другую: правило умножения строки одной матрицы на столбец другой.  

• Сложность умножения матриц: O n^2, где n - количество строк и столбцов.  

• Возможность улучшения сложности умножения матриц.  

• Важность правильного распределения памяти и использования кэша процессора.  

• Алгоритм Трассаа: O 2^n log_2 n, где n - количество элементов в матрице.  

• Блочные матрицы: деление матриц на блоки для ускорения вычислений.  

• Умножение блоков: элементы блоков умножаются и складываются.  

• Ускорение за счет кэширования и блочного выполнения операций.  

• След квадратной матрицы: сумма диагональных элементов.  

• Транспонирование матрицы: преобразование столбцов в строки.  

• Скалярное произведение матриц: умножение транспонированной матрицы на вектор.  

• Транспонирование меняет порядок в произведении матриц.  

• Скалярное произведение для матриц: покомпонентное перемножение и сложение.  

• Важность согласования размерностей при выполнении операций.  

• Ортогональные матрицы: произведение транспонированной матрицы на саму матрицу равно единичной матрице.  

• Унитарные матрицы: комплексные элементы и операция эрмитового сопряжения.  

• Матрицы в анализе данных часто вещественные, но для матричных разложений могут использоваться комплексные матрицы.  

• Унитарные матрицы обладают свойством транспонированное у равно единице.  

• Ортогональные матрицы сохраняют норму вектора при умножении.  

• В вычислениях важны скорость и точность.  

• Линейные преобразования часто сводятся к умножению на матрицу.  

• Умножение на ортогональную матрицу сохраняет норму вектора.  

• Матрицы Хаусхолдера и матрицы отражений являются ортогональными.  

• Матрицы отражений сохраняют норму вектора при умножении.  

• Матрицы поворотов также являются ортогональными и сохраняют расстояние.  

• Ортогональные матрицы можно построить как произведение элементарных матриц.  

• Произведение ортогональных матриц также является ортогональной.  

• Множество ортогональных матриц достаточно широкое и включает множество параметров.  

• Матрицы являются основным объектом в линейных алгебраических вычислениях и машинном обучении.  

• Матрицы используются для записи систем уравнений и линейных слоев в нейросетях.  

• Данные, подаваемые в модели машинного обучения, можно рассматривать как матрицы объектов и признаков.  

• Матрицы можно рассматривать как двумерные массивы чисел, удобные для многих приложений.  

• В продвинутых фреймворках машинного обучения используются тензоры, которые могут быть многомерными массивами.  

• Матричный формализм применяется на всех уровнях машинного обучения и анализа данных.  

• Для сравнения близости матриц можно рассматривать их как элементы векторного пространства.  

• Матричные нормы должны удовлетворять неравенству треугольника и быть неотрицательными.  

• Основное отличие матриц от векторов заключается в возможности их умножения.  

• Матричные нормы должны обладать свойством субмультипликативности, где норма произведения не больше произведения норм.  

• Векторные нормы, такие как чебышевская норма, не являются субмультипликативными.  

• Правильные матричные нормы определяются через линейный оператор, действующий на вектор.  

• Три самые популярные матричные нормы порождены векторными нормами: 1-норма, 2-норма и ∞-норма.  

• Первая норма матрицы представляет собой максимум из всех столбцовых сумм модулей элементов.  

• Бесконечная норма матрицы дает максимум строчных сумм модулей элементов.  

• Модуль суммы не больше суммы модулей.  

• Сумма модулей меньше единицы.  

• Максимальное значение не больше требуемого.  

• Выбор вектора, соответствующего строке с максимальной суммой.  

• Вектор равен знаку соответствующего элемента в строке.  

• Модуль исчезает, что приводит к точному равенству.  

• Спектральная норма связана с евклидовой нормой.  

• Вычисление через сингулярное разложение SVD.  

• Максимальное сингулярное число равно второй норме матрицы.  

• Спектральная норма оказалась самой маленькой.  

• Бесконечная норма оказалась самой большой.  

• Фробениусова норма переоценивает элементы матрицы.  

• В глубоких нейросетях используется спектральная норма.  

• Спектральная норма помогает избежать накопления ошибки.  

• Спектральная нормализация требует, чтобы спектральная норма была близка к единице.  

• Векторы линейно зависимы, если их можно сложить с ненулевыми коэффициентами.  

• Матрица линейно зависима, если при умножении на вектор дает ноль.  

• Ядро матрицы - множество векторов, удовлетворяющих условию а икс равно нулю.  

• Ранг матрицы - максимальное число линейно независимых столбцов.  

• Ранг столбцов и строк равны.  

• Матрицы полного ранга имеют максимальный ранг.  

• Матрицы малого ранга могут быть интересны для изучения.  

• Случайные матрицы часто имеют полный ранг.  

• Реальные матрицы часто содержат скрытые зависимости.  

• Функция для расчета ранга в пакете NumPy.  

• Пример с матрицей из одних единиц и добавлением шума.  

• Программа возвращает правильный ранг для матрицы из одних единиц.  

• Малое возмущение матрицы сильно меняет её ранг.  

• Существует утверждение, что для любой матрицы неполного ранга можно найти матрицу полного ранга в её окрестности.  

• В вычислениях всегда есть погрешность, поэтому задача ставится иначе: найти матрицу минимального ранга с заданной погрешностью.  

• Сингулярное разложение позволяет представить матрицу в виде произведения матриц более простой структуры.  

• Любая матрица может быть представлена как произведение трёх матриц: унитарной, диагональной и унитарной.  

• Матрицы неполного ранга можно сжать, что позволяет хранить меньше информации.  

• Матрицы малого ранга можно умножать на вектор быстрее.  

• Малоранговая аппроксимация снижает время и память при обработке данных.  

• Задача построения малоранговой аппроксимации связана с снижением размерности данных.  

• Малоранговая аппроксимация позволяет находить базис для векторов большой размерности.  

• Лемма Джонсона-Штрауса утверждает, что можно спроектировать точки в пространство с логарифмической размерностью, сохраняя попарные расстояния.  

• Малоранговая аппроксимация используется в различных методах анализа данных, таких как метод главных компонент и факторный анализ.  

• Теорема Кардашева-Яношича позволяет точно решить задачу построения малоранговой аппроксимации.  

• Для построения наилучшей аппроксимации нужно построить сингулярное разложение матрицы и оставить первые р столбцов и сингулярных чисел.  

• Минимум расстояния в спектральной норме достигается на урезанном сингулярном разложении.  

• Расстояние от заданной матрицы до матрицы ранга р можно вычислить через сингулярное разложение.  

• Сингулярные числа матрицы показывают, насколько она приближается к матрице малого ранга.  

• Алгоритмы вычисления сингулярного разложения сложны, но пакеты позволяют их использовать.  

• Пример с матрицей из одних единиц показывает, что сингулярное число может быть очень маленьким.  

• Функция матрикс использует параметр толеранс для определения приближенного ранга матрицы.  

• Случайные гаусовы матрицы имеют полный ранг, что подтверждается асимптотическими формулами.  

• Теория случайных матриц важна для быстрых алгоритмов и ускорения вычислений.  

• Сингулярное разложение имеет много имен и используется в различных научных и практических задачах.  

• Примеры применения: разделение переменных, сжатие слоев нейронной сети.  

• Ранг матрицы можно определить как число линейно независимых столбцов или строк.  

• Матрица ранга один имеет вид произведения двух матриц ранга один.  

• Малоранговое представление можно рассматривать как аналог дискретного разделения переменных.  

• Гаусовы матрицы имеют элементы, взятые из нормального распределения с нулевым средним и единичной дисперсией.  

• Малоранговая аппроксимация применяется для разделения переменных и аппроксимации функций.  

• Пример с матрицей Гильберта показывает, что сингулярные числа быстро убывают.  

• Рекомендательные системы используют сингулярное разложение для создания эффективных схем.  

• Сжатие плотных матриц позволяет работать с большими матрицами, экономя память.  

• Матрицы с элементами единиц и плюс или минус могут иметь сингулярные числа, близкие к числу пи.  

• Малоранговая аппроксимация используется для сжатия линейных слоев в глубоких нейронных сетях.  

• Это позволяет эффективно хранить и вычислять большие матрицы, уменьшая сложность работы модели.  

• Пример с распознаванием лиц показывает, как малоранговая аппроксимация помогает в практических задачах.  

• Лекция охватывает ключевые моменты, включая понятие ранга матрицы и сингулярного разложения.  

• Сингулярное разложение используется для построения наилучшего малорангового представления