Лекция 7. SVD разложение (Singular Value Decomposition)

• Обсуждение темы регуляризации и её применения в анализе.  

• Регуляризация помогает предотвратить нежелательные эффекты в анализах.  

• Регуляризация будет рассмотрена в контексте СВД-разложения.  

• Введение в факторный анализ и его связь с СВД-разложением.  

• Обсуждение теорем и математических моделей.  

• Связь между СВД-разложением и факторным анализом.  

• Нахождение собственных чисел и векторов матрицы.  

• Теорема о симметричности и неотрицательности собственных чисел.  

• Спектральное разложение матрицы и его применение.  

• Вероятностный подход к факторному анализу.  

• Решение задачи нахождения линейной комбинации с максимальной дисперсией.  

• Использование собственных чисел и векторов для решения задачи.  

• Объяснение, почему факторный анализ и СВД-разложение связаны.  

• Применение теоремы о спектральном разложении к факторному анализу.  

• Сравнение решений, полученных через факторный анализ и СВД-разложение.  

• Различие между методом главных компонент и факторным анализом.  

• Применение метода главных компонент к таблицам данных.  

• Стандартизация случайных величин для применения метода главных компонент.  

• Обсуждение корреляции случайных величин икс и иксжитая.  

• Проведение стандартизации и подмена случайных величин на зет и т.  

• После стандартизации матрица корреляции и матрица ковариаций совпадают.  

• Ковариация случайных величин икс и иксжитая определяется как математическое ожидание разности икс и т минус математическое ожидание икс.  

• Корреляция случайных величин икс и иксжитая равна ковариации, деленной на корень из произведения дисперсий.  

• Стандартизация упрощает работу, но имеет свои недостатки.  

• В рамках теории вероятностей можно считать, что случайные величины стандартизированы, но в статистике это не всегда возможно.  

• Стандартизация может нарушить независимость данных, что усложняет анализ.  

• Матрица корреляции после стандартизации вычисляется как произведение двух таблиц данных.  

• В случае пропущенных значений можно выбрасывать строки с пропущенными значениями, что может привести к потере информации.  

• Это может нарушить неотрицательную определенность матрицы корреляции.  

• Сингулярное разложение матрицы аналогично спектральному разложению, но для произвольной матрицы.  

• Матрица раскладывается на ортогональные матрицы и диагональную матрицу.  

• Сингулярные значения близки к собственным значениям, но не совпадают.  

• Сингулярное разложение и метод главных компонент тесно связаны.  

• Если есть сингулярное разложение, можно провести факторный анализ методом главных компонент.  

• Матрица корреляции может быть представлена в виде произведения ортогональных матриц.  

• Матрица данных икс может быть транспонирована, что меняет размерность матрицы.  

• Для матрицы выборочных корреляций размерность должна быть канака.  

• Важно понимать, что размерность матрицы корреляции должна соответствовать исходным данным.  

• Переменные могут быть как столбцами, так и строками.  

• Пример: изучение текстов и измерение их схожести.  

• Ключевые слова используются для тематического анализа текстов.  

• Строки - документы, столбцы - ключевые слова.  

• Элементы матрицы - количество вхождений ключевого слова в документ.  

• Переменные могут быть как документами, так и словами.  

• Транспонирование исходной матрицы сохраняет смысл.  

• Перемножение исходной матрицы на себя дает матрицу корреляции.  

• Для столбцов нужно транспонировать или перемножать в другом порядке.  

• SVD позволяет получить результаты факторного анализа для столбцов и строк.  

• Матрицы собственных чисел и векторов для строк и столбцов.  

• SVD шире, чем спектральное разложение, но может быть заменено им.  

• Диагональная матрица из квадратов сингулярных значений.  

• Матрица корреляций для линейных комбинаций факторов.  

• Сингулярное разложение SVD полезно, но не всегда необходимо.  

• SVD как ребрендинг факторного анализа.  

• Применение SVD в латентно-семантическом анализе и рекомендательных системах.  

• SVD помогает сокращать размерность данных.  

• Отбрасывание неинформативных столбцов в матрицах.  

• Сокращение диагональной матрицы до размера оставшихся факторов.  

• Утверждения, подкрепляющие сокращение размерности данных.  

• Рассматривается метод измерения схожести матриц через разность квадратов элементов.  

• Предлагается использовать расстояние Фробениуса для сравнения матриц.  

• Метод аналогичен методу наименьших квадратов для векторов.  

• Для сокращения размерности матриц используется SVD-разложение.  

• Матрица X-волна является наилучшим приближением к исходной матрице X.  

• Сокращение размерности позволяет улучшить вычисления с большими матрицами.  

• Матрицы с пропусками могут содержать до 99% пропусков.  

• Заполнение пропусков средними значениями или медианами не всегда эффективно.  

• Построение регрессионной модели для заполнения пропусков также не всегда работает.  

• Предлагается использовать SVD для поиска X-волны и Y-волны.  

• Матрицы X и Y приближаются с помощью SVD разложения.  

• Минимизация суммы квадратов элементов для минимизации ошибки.  

• Регуляризация необходима для предотвращения взрывного роста коэффициентов.  

• Итеративная процедура использует метод скорейшего спуска для минимизации ошибки.  

• Матрицы X и Y инициализируются случайным образом и изменяются шаг за шагом.  

• Матрицы X и Y интерпретируются как факторы, характеризующие переменные.  

• В рекомендательных системах факторы заменяют оценки пользователей и фильмов.  

• Новая таблица данных с факторами позволяет работать с данными без пропусков.  

• Методы, такие как деревья классификации, могут работать с пропусками.  

• Пропущенные значения считаются отдельной категорией.  

• Случайный лес и градиентный бустинг также могут работать с пропусками, но не всегда эффективно.  

• Метод SVD с регуляризацией остается актуальным для работы с матрицами с пропусками.  

• Саймон Фанк предложил использовать SVD для работы с матрицами, и его подход до сих пор используется.  

• До появления SVD разложения доминировал метод ближайшего соседа.  

• Метод ближайшего соседа позволяет получать рекомендации, но не подходит для других задач.  

• SVD разложение облегчает холодный старт и вспомогательные действия.  

• Метод Саймона Функа не является SVD разложением, но полезен для рекомендательных систем.  

• Метод позволяет работать с матрицами, содержащими пропуски.  

• Важно признать, что метод Функа не является SVD, но полезен для задач с пропущенными значениями.  

• Пакет IRBLAS позволяет получать SVD разложения для больших наборов данных.  

• Пакет не работает с пропущенными значениями, что ограничивает его применение.  

• IRBLAS полезен для больших наборов данных, но не всегда применим для задач с пропущенными значениями.  

• Пример использования SVD разложения для матрицы с пропущенными значениями.  

• Проверка точности разложения и сокращение факторов для улучшения результатов.  

• Погрешность увеличивается при уменьшении количества сохраняемых факторов.  

• Метод Функа реализован в библиотеке RecommenderLab.  

• Настройка параметров метода: число факторов, ранг матрицы, скорость обучения и регуляризация.  

• Метод Функа не является SVD, но полезен для задач с пропущенными значениями.  

• Добавление пропусков в данные и применение SVD разложения.  

• Проблема с пропусками и необходимость добавления опции na.fill=True.  

• Метод позволяет переходить к факторам без пропусков, но не является идеальным решением.  

• Метод позволяет работать с данными, содержащими пропуски, но не идеален.  

• Вариант заполнения пропусков с помощью алгоритма может быть хуже.  

• В следующей лабораторной работе будет рассмотрено применение процедур для работы с данными с пропусками.