Математические основы машинного обучения. Семинар 5.

• Объяснение метода опорных векторов (SVM) и его использование в машинном обучении.  

• Напоминание о дедлайне для первого курсового задания.  

• Обсуждение важности нормализации данных и использования метода опорных векторов для регрессии и классификации.  

• Демонстрация использования метода опорных векторов для неразделимой выборки.  

• Объяснение использования ядер для изменения скалярного произведения и их выбор в зависимости от задачи.  

• Пример использования метода опорных векторов для разделения двух окружностей.  

• Гауссово ядро хорошо работает для окружностей, где данные кучно расположены.  

• В случае, когда данные лежат на кривой, нужно переходить в пространство этой кривой.  

• Для окружности полиномиальное ядро также хорошо работает, так как оно линейно разделимо в этом пространстве.  

• Для более сложных данных, таких как эллипсы, нужно использовать другие ядра, например, гауссово.  

• В видео обсуждается использование полиномиальных и сигмоидальных ядер для классификации данных.  

• Отмечается, что для окружности лучше использовать гауссово ядро, так как оно оптимально для этого пространства.  

• Для двух окружностей можно использовать гауссово или радиальное базовое ядро.  

• Радиальное базовое ядро (РБФ) идеально разделяет данные, когда объекты близки друг к другу в пространстве.  

• В случае с окружностями, РБФ работает плохо, так как объекты на окружности далеки друг от друга.  

• В тестовой выборке, где есть шум, РБФ также работает хорошо, так как шум не влияет на результат.  

• В видео также обсуждается использование скалярного произведения для создания ядра.  

• В результате, получается почти то же самое, что и при использовании РБФ, но с другими опорными точками.  

• Это объясняется тем, что идея обоих методов заключается в том, чтобы брать ближайшие точки для классификации.  

• В видео обсуждается, как ядра влияют на регрессию и как они могут быть использованы для решения задач.  

• Упоминается, что ядра могут быть использованы для решения задач, где данные линейно разделимы, и что они могут быть использованы для улучшения качества регрессии.  

• В видео приводятся примеры использования ядер для решения задач регрессии и классификации.  

• Обсуждаются различные типы ядер, такие как линейные, сигмоидные и рпф, и как они могут быть использованы для улучшения качества регрессии.  

• В видео также обсуждается, как ядра могут быть использованы для анализа опорных векторов и как они могут быть использованы для улучшения качества регрессии.  

• SVM строит линейную гиперплоскость в пространстве, где выборка линейно разделима.  

• SVM позволяет использовать ядра для перехода в новое пространство, где выборка также линейно разделима.  

• SVM использует опорные объекты в качестве признаков для описания другой модели.  

• Добавление скалярного произведения между объектами и опорными векторами может повысить качество модели.  

• Нормировка данных может улучшить обучение модели.  

• Нормировка может привести к плохим последствиям, если данные сильно разбросаны.  

• В видео обсуждается, как данные могут быть изменены при использовании скейлинга и нормализации.  

• Скейлинг может привести к изменению качества данных, даже если выборка остается той же.  

• Нормализация может помочь улучшить качество данных, но важно учитывать, что она может быть выполнена только на обучающей выборке.  

• В видео подчеркивается, что средняя дисперсия должна быть рассчитана только по обучающей выборке, а не по всей выборке.  

• Также отмечается, что при кросс-валидации, качество модели может быть оценено на валидационной выборке, но не на тестовой.  

• Это может привести к смещению оценки качества модели.  

• В конце видео автор отвечает на вопросы зрителей, касающиеся предыдущих семинаров.  

• В частности, он обсуждает, как обучается модель на одной цифре или на нескольких, и как результат обучения отображается в задаче.  

• В семинаре обсуждается задача классификации, где необходимо предсказать значение размерности десять.  

• Обучающая выборка состоит из 60 000 картинок, из которых 10 000 используются для тестирования.  

• Один объект - это одна картинка, которая преобразуется в вектор.  

• После этого происходит обучение с использованием софт макс и нормировки.  

• В результате получается таблица с вероятностями каждого класса.  

• Для обучения используется бачи размером 64, где каждая картинка имеет 64 метки.  

• Визуализация показывает, сколько времени осталось до завершения обучения.  

• В видео объясняется, как обучать и тестировать нейросеть на примере классификации изображений.  

• В качестве примера используется сеть с 64 входными параметрами и 64 выходными.  

• В процессе обучения, сеть обучается на наборе данных, где каждый объект имеет метку, соответствующую его классу.  

• После обучения, сеть может быть протестирована на тестовой выборке, где она должна предсказать класс каждого объекта.  

• В видео также объясняется, как интерпретировать результаты обучения и тестирования нейросети.  

• Для этого используется функция "классификация репорт", которая выводит среднее число объектов, для которых предсказанные и истинные классы совпали.  

• В видео также обсуждается, как визуализировать результаты обучения, используя метод главных компонент.  

• Этот метод позволяет преобразовать многомерное пространство признаков в двухмерное, что облегчает интерпретацию результатов.