Байесовские методы в машинном обучении 1

• Преподаватели поздравляют с началом учебного года.  

• Курс посвящен байесовским методам машинного обучения.  

• Будут изучаться классические модели, а не нейросети.  

• Цель курса - понять, как новые формулировки помогают в машинном обучении.  

• Введение в теорему Байеса и базовые правила работы с вероятностями.  

• Условное распределение как отношение совместного распределения к безусловному.  

• Правило произведения и декомпозиция совместного распределения.  

• Правила обращения условной вероятности и безусловного распределения.  

• Интегрирование условных распределений для получения безусловного распределения.  

• Правило суммирования для перехода от совместного к маргинальному распределению.  

• Прямое применение правил для получения теоремы Байеса.  

• Апостериорное распределение равно произведению правдоподобия и априорного распределения.  

• Байесовский подход играет ключевую роль в машинном обучении.  

• Теорема Байеса позволяет конвертировать наши знания о неизвестной величине при поступлении новой информации.  

• Теорема Байеса показывает, как наша неопределенность меняется при наблюдении за связанными величинами.  

• Байесовский подход позволяет рассчитывать условные распределения при наблюдении за одной или несколькими величинами.  

• Совместное распределение моделирует взаимосвязи между случайными величинами.  

• Условные распределения позволяют прогнозировать значения одной величины при наблюдении за другой.  

• На практике интегралы могут быть сложными для вычисления, особенно в пространствах высокой размерности.  

• Теоретически, байесовский подход позволяет делать вероятностные прогнозы на основе совместного распределения.  

• Байесовский подход решает обратные задачи, такие как восстановление данных по результатам решения прямой задачи.  

• Пример: дана масса и ускорение, требуется найти силу.  

• Классический подход часто используется в университетах, но байесовский подход является альтернативой.  

• В классическом подходе максимизируется функция правдоподобия выборки для оценки параметров распределения.  

• Метод максимального правдоподобия имеет преимущества: эффективность, состоятельность, несмещенность.  

• Однако, оценки могут колебаться относительно истинного значения, что делает их менее оптимальными.  

• Байесовский подход имеет свои преимущества и недостатки, но остается важным инструментом в машинном обучении.  

• Обсуждение различий между классическим и байесовским подходами к интерпретации случайности.  

• Классический подход: случайная величина как результат процесса, который невозможно точно предсказать.  

• Байесовский подход: случайная величина как результат детерминированного процесса, но с неизвестными факторами.  

• Подбрасывание монетки: случайная величина в байесовском смысле, но не в классическом.  

• Ожидание автобуса: случайная величина для разных наблюдателей, но с разной дисперсией.  

• Местоположение электрона и радиоактивный распад: случайны в байесовском смысле.  

• Квантовая механика: объективная неопределенность, основанная на соотношении неопределенности Гейзенберга.  

• Объективная неопределенность: изменение конфигурации системы для понимания ее скорости.  

• Обсуждение квантовых эффектов и их влияния на восприятие случайности.  

• Все величины теперь можно интерпретировать как случайные.  

• Неизвестная дисперсия в классическом подходе теперь рассматривается как случайная величина.  

• Метод максимального правдоподобия в классическом подходе и теорема Байеса в байесовском.  

• В байесовском подходе используются апостериорные распределения, а не точечные оценки.  

• Байесовский подход оптимален при определенных условиях на выборку.  

• При больших выборках и размерности оцениваемых параметров более единицы, можно доказать теоремы об оптимальности медленного максимального правдоподобия.  

• Байесовский вывод возможен даже при нулевом значении энтропии, но это не всегда приводит к полезным результатам.  

• При больших значениях энтропии можно извлекать информацию из данных, хотя это не всегда оправдано.  

• Оценка максимального правдоподобия может быть несостоятельной при малых объемах данных.  

• Пример с подбрасыванием монетки показывает, что выводы о вероятности выпадения орла могут быть ошибочными при малом количестве бросков.  

• Здравый смысл подсказывает, что метод максимального правдоподобия не всегда применим при малых объемах данных.  

• В век больших данных классические методы машинного обучения могут быть недостаточными.  

• Большие данные требуют новых подходов, таких как байесовский вывод, который может быть более эффективным.  

• Несмотря на успехи в обучении больших нейросетей, проблема переобучения остается актуальной.  

• Байесовский и классический подходы к машинному обучению могут быть рассмотрены как предельные случаи друг друга.  

• В условиях, когда число наблюдений значительно превышает размерность оцениваемых параметров, апостериорное распределение вырождается в точку максимального правдоподобия.  

• Это позволяет рассматривать байесовский подход как обобщение классического метода.  

• В современных условиях, когда число наблюдений сопоставимо или меньше, чем размерность оцениваемых параметров, байесовский подход становится более полезным.  

• Это позволяет лучше извлекать информацию из данных и избегать ошибок, связанных с малым объемом данных.  

• Предотвращение эффекта переобучения благодаря априорному распределению.  

• Композитность: объединение моделей на основе разных данных.  

• Стриминг данных: обработка больших объемов данных в реальном времени.  

• Возможность дообучения моделей на новых данных без использования старых.  

• Построение моделей с латентными переменными для обработки пропусков в данных.  

• Выявление скрытых тем в текстах без ручной разметки.  

• Масштабируемость: новые методы для работы с большими данными.  

• Байесовский подход как обобщение классической статистики и булевой логики.  

• Логический вывод на основе правила modus ponens.  

• Рассуждения в байесовском подходе и их связь с человеческой реальностью.  

• В финале чемпионата мира по футболу Франция против Италии.  

• Итальянские болельщики празднуют победу, если Италия выиграла.  

• Российские болельщики празднуют победу России, если она выиграла.  

• Теорема Байеса позволяет рассчитать вероятность события при условии другого события.  

• Пример: если известно, что событие А произошло, можно рассчитать вероятность события Б.  

• Пример с сигнализацией: вероятность срабатывания сигнализации при условии наличия вора или землетрясения.  

• Использование теоремы Байеса для расчета вероятности события Б при условии события А.  

• Пример с сигнализацией от воров: вероятность срабатывания при наличии вора или землетрясения.  

• Определение вероятности срабатывания сигнализации при различных условиях.  

• Оценка вероятности воровства и землетрясений на основе данных из открытых источников.  

• Использование байесовской модели для расчета вероятности различных событий.  

• Пример с сигнализацией: расчет вероятности срабатывания сигнализации при условии наличия вора.  

• Применение теоремы Байеса для расчета условной вероятности.  

• Пример с сигнализацией: расчет вероятности срабатывания сигнализации при условии отсутствия вора.  

• Использование правила суммирования для расчета вероятности.  

• В знаменателе стоит нормировочная константа.  

• Некоторые слагаемые совпадают с числителем.  

• Переписываем часть слагаемых в числитель.  

• Приближаем единицы к нулю.  

• Получаем вероятность 0.17.  

• Проверяем вероятность на сайте МВД.  

• Изменяем априорную вероятность.  

• Вероятность увеличивается, но не линейно.  

• При увеличении вероятности в 10 раз, вероятность увеличивается не в 10 раз.  

• Получаем дополнительную информацию о землетрясении.  

• Рассчитываем вероятность вора при землетрясении.  

• Рассчитываем совместную вероятность.  

• Используем декомпозицию для упрощения расчетов.  

• Рассчитываем условные вероятности.  

• Учитываем различные условия.  

• Вероятность вора падает до 2% после землетрясения.  

• Человеческая психология и поведение влияют на расчеты.  

• Важность байесовского подхода для квазиологических рассуждений.  

• Уточнение знаний возможно только при использовании распределений.  

• Точечные оценки не позволяют сдвинуть знания.