Байесовские методы в машинном обучении 1

• Поздравление с началом учебного года.  

• Объяснение, что курс посвящён байесовским методам машинного обучения.  

• Обещание рассмотреть классические модели машинного обучения в байесовском контексте.  

• Напоминание о теореме Байеса и базовых правилах работы с вероятностями.  

• Введение понятия условного распределения.  

• Объяснение, как условное распределение показывает распределение одной величины при известном значении другой.  

• Объяснение правила произведения: совместное распределение можно представить как произведение условных распределений.  

• Декомпозиция совместного распределения на n случайных величин через произведение одномерных условных распределений.  

• Упоминание о простоте задания одномерных условных распределений по сравнению с совместным распределением.  

• Объяснение правила обращения условной вероятности.  

• Введение правила суммирования: переход от совместного распределения к маргинальному распределению через интегрирование по остальным переменным.  

• Интерпретация правила суммирования как взвешенного усреднения условных плотностей.  

• Подчёркивание важности знания двух правил для дальнейшего изучения курса.  

• Вывод теоремы Байеса из правил обращения условной плотности и суммирования.  

• Формулировка теоремы Байеса: апостериорное распределение равно произведению правдоподобия и априорного распределения с точностью до нормализованной нормировочной константы.  

• Правдоподобие Лайкли и априорная нормировочная константа эвиденс играют ключевую роль в байесовских методах автоматического выбора модели.  

• Эвиденс переводится как «свидетельство» или «улика», но в контексте задач машинного обучения означает «обоснованность».  

• Теорема Байеса позволяет конвертировать незнание о неизвестной величине при поступлении новой информации.  

• Функция правдоподобия задаёт связь между наблюдаемыми данными и неизвестной величиной.  

• Априорное распределение показывает первоначальную неопределённость.  

• Знание функции правдоподобия и априорного распределения позволяет рассчитать преобразование неопределённости при поступлении новой информации.  

• Теорема Байеса позволяет рассчитать произвольное условное распределение на основе совместного распределения переменных.  

• Пример с тремя группами случайных величин: X, Y и Z.  

• Возможность расчёта условного распределения для произвольного подмножества переменных при условии наблюдения другого подмножества.  

• На практике возникают трудности с вычислением интегралов, особенно в пространствах высокой размерности.  

• Аналитическое вычисление интегралов часто невозможно, а численное — не обеспечивает приемлемой точности.  

• Теорема Байеса применяется для решения обратных вероятностных задач.  

• Прямая задача: известно, как X связано с Y, обратная задача: найти, как Y связано с X.  

• Пример обратной задачи: восстановление матрицы по известным элементам.  

• Байсовский подход является альтернативой классическому фриквенистскому подходу.  

• Классический подход использует метод максимального правдоподобия для оценки параметров распределения по выборке данных.  

• Оценки максимального правдоподобия являются эффективными, состоятельными и несмещёнными.  

• Дисперсия оценок максимального правдоподобия минимальна среди всех несмещённых оценок.  

• Неравенство Крамера подтверждает оптимальность оценок максимального правдоподобия.  

• Несмотря на преимущества, метод максимального правдоподобия не всегда применим из-за ограничений.  

• Необходимо учитывать дополнительные факторы, такие как модальности и асимптотическая нормальность.  

• Ключевое различие между классическим и байсовским подходами заключается в интерпретации случайности.  

• В классическом подходе случайность — это объективная неопределённость, которую невозможно точно предсказать.  

• В байсовском подходе случайная величина — это результат детерминированного процесса, часть факторов которого неизвестна наблюдателю.  

• Подбрасывание монетки: исход определяется законами классической механики, но из-за незнания факторов кажется случайным.  

• Ожидание автобуса: время прихода автобуса зависит от множества факторов, которые могут быть неизвестны наблюдателю.  

• Местоположение электрона и радиоактивный распад: связаны с квантовыми эффектами и соотношением неопределённости Гейзенберга.  

• Космические лучи: их появление не связано с механикой, но их характеристики могут быть случайными.  

• В квантовой механике оперируют распределениями, а не точечными значениями.  

• Уравнение Шрёдингера и теорема Байеса имеют схожие принципы.  

• В байсовском подходе все неизвестные величины интерпретируются как случайные.  

• Неизвестная дисперсия может быть представлена как случайная величина с априорным распределением.  

• В классическом подходе используется метод максимального правдоподобия, в байсовском — теорема Байеса.  

• В классическом подходе применяются точечные оценки, в байсовском — апостериорные распределения.  

• Обсуждение условий оптимальности метода максимального правдоподобия.  

• Метод максимального правдоподобия оптимален при больших выборках, когда количество наблюдений значительно больше размерности оцениваемых параметров.  

• Теоремы об оптимальности были доказаны 80 лет назад.  

• При n = 0 апостериорное распределение равно априорному.  

• Вне условий применимости метод может давать недостоверные результаты.  

• Пример с подбрасыванием монетки показывает, что при небольшом количестве наблюдений оценка может быть преждевременной.  

• Здравый смысл подсказывает, что радикальные выводы на основе небольшого количества данных необоснованны.  

• Большинство аналитиков работают с большими объёмами данных.  

• Методы обработки больших данных пока примитивны.  

• Количество параметров в нейросетях растёт быстрее, чем количество наблюдений.  

• В конце 2000-х годов появились глубинные нейросети, которые не переобучались на больших объёмах данных.  

• Позже выяснилось, что нейросети всё равно переобучаются, и потребовались дополнительные методы регуляризации.  

• Проблема переобучения остаётся нерешённой.  

• Байесовский вывод можно рассматривать как обобщение метода максимального правдоподобия.  

• При большом количестве наблюдений апостериорное распределение вырождается в точку максимального правдоподобия.  

• Дельта-функция описывает вырожденную случайную величину, у которой вся вероятность сконцентрирована в одной точке.  

• Классический подход можно рассматривать как предельный случай байесовского.  

• Байесовский подход полезен в условиях, когда количество наблюдений сопоставимо или меньше размерности оцениваемых параметров.  

• Понимание различий между подходами важно для практического применения.  

• Регуляризация: предотвращение переобучения за счёт использования априорного распределения.  

• Композитность: возможность объединения данных из разных источников.  

• Обработка данных на лету: стриминг, обновление модели без сохранения старых данных.  

• Априорное распределение помогает найти компромисс между представлениями о параметрах и наблюдаемыми данными.  

• Пример переобучения: вывод о вероятности выпадения орла после двух подбрасываний монеты.  

• Байсовский подход предотвращает чрезмерное подгонение модели под данные.  

• Объединение данных из разных моделей для получения более сложных моделей.  

• Пример объединения моделей: увязка данных x и y, а также данных z.  

• Нормализующая константа обеспечивает вероятностное распределение.  

• Возможность обновления модели без сохранения старых данных.  

• Важность в условиях больших объёмов данных, которые невозможно сохранить.  

• Пример: инкрементальное обучение нейросети в реальном времени.  

• Корректная обработка пропусков в данных.  

• Извлечение дополнительной информации из данных.  

• Пример: тематическое моделирование без разметки данных.  

• Разработка новых методов для работы с большими объёмами данных.  

• Вычислительная эффективность новых методов.  

• Перенос байсовских моделей на большие данные.  

• Байсовский подход обобщает классическую статистику и логику.  

• Пример логического вывода: правило модус поненс.  

• Возможность построения логических рассуждений на основе байсовского подхода.  

• Автор наблюдает за итальянскими болельщиками в баре после матча Франция — Италия.  

• Обсуждается, как сложно определить, выиграли ли итальянцы, основываясь на поведении болельщиков.  

• Приводится пример с российскими болельщиками на Тверской после матча Россия — Испания.  

• Объясняется, как теорема Байеса позволяет рассчитать вероятность события B при условии события A.  

• Упоминается возможность решения обратной задачи: определение вероятности события A при условии события B.  

• Подчёркивается преимущество теоремы Байеса перед булевой логикой.  

• Рассматривается ситуация с сигнализацией, которая может срабатывать из-за воров или землетрясений.  

• Создаётся модель с четырьмя бинарными переменными: вор, землетрясение, тревога, радио.  

• Декомпозируется модель через причинно-следственные связи.  

• Определяются вероятности срабатывания сигнализации при различных сочетаниях воров и землетрясений.  

• Задаются вероятности радиосообщений о землетрясениях.  

• Оцениваются априорные вероятности воров и землетрясений на основе данных МВД и МЧС.  

• Рассчитывается вероятность того, что в квартире вор, при условии срабатывания сигнализации.  

• Применяются формулы условной вероятности и теорема Байеса для дискретных случайных переменных.  

• Используются правила суммирования для вычисления маргинальных распределений.  

• Подставляются значения вероятностей в окончательные расчёты.  

• Получаются вероятности срабатывания сигнализации при условии наличия и отсутствия вора.  

• Завершаются вычисления для определения вероятности вора при условии срабатывания сигнализации.  

• В знаменателе стоит нормировочная константа, поэтому часть слагаемых совпадает с числителем.  

• Приближённо считается, что выражение равно единице.  

• Конечный ответ: вероятность около 0,17.  

• Проверка данных о преступности в районе Капотня.  

• Изменение априорной вероятности вора не сильно влияет на расчёты.  

• Получение информации о землетрясении по радио.  

• Расчёт вероятности наличия вора при условии срабатывания тревоги и получения сообщения по радио.  

• Использование байесовского подхода вместо булевой логики.  

• Выражение вероятности через совместное распределение.  

• Декомпозиция для упрощения расчётов.  

• Подсчёт слагаемых в числителе и знаменателе.  

• Вероятность наличия вора после получения дополнительной информации: около 2%.  

• Эффект «explain» — появление нового фактора может резко снизить вероятность оцениваемого фактора.  

• Игнорирование психологической составляющей при анализе.  

• Воры могут использовать землетрясение как оправдание для своих действий.  

• Уточнение знаний через распределения, а не точечные оценки.  

• Возможность трансформации распределений при получении новой информации.