#23. Переобучение (overfitting). Критерии останова обучения | Нейросети на PyTorch

• Сергей Балакирев продолжает курс по нейронным сетям.  

• Обсуждается эффект переобучения моделей и способы борьбы с ним.  

• Рассматривается влияние структуры нейронных сетей на степень переобучения.  

• Два класса линейно разделимых образов можно разделить одной прямой.  

• Увеличение числа нейронов в сети приводит к более сложной разделяющей линии.  

• Слишком точное описание граничных образов может привести к ошибкам классификации.  

• Избыток нейронов ухудшает обобщающую способность сети.  

• Количество нейронов должно быть оптимальным для задачи.  

• Контроль переобучения через разделение обучающей выборки на валидационную и обучающую.  

• Валидационная выборка используется для проверки качества работы сети.  

• Если графики для валидационной и обучающей выборок расходятся, сеть переобучается.  

• Тестовая выборка необходима для объективной проверки качества.  

• Обучающая выборка делится на валидационную и обучающую с помощью функции random_split.  

• Используется класс DataLoader для создания итераторов для обучения и проверки.  

• После каждой эпохи проверяется качество работы сети на валидационной выборке.  

• Формируются графики для функции потерь по обучающей и валидационной выборкам.  

• Нейронная сеть переобучается, если графики расходятся.  

• Качество классификации по тестовой выборке оценивается в 95%.  

• Расхождение показателей качества для обучающей и валидационной выборок.  

• Стабильность показателей качества по эпохам.  

• Мало изменений весовых коэффициентов и достижение максимального числа итераций.  

• Критерии остановки могут быть различными и зависят от конкретной ситуации.  

• В этом видео рассматриваются распространенные варианты критериев, используемые на практике.  

• В каждой конкретной ситуации можно сформировать свой критерий остановки обучения нейронной сети.