Лекция 3 | Логистическая регрессия и функция активации | Машинное обучение

• Лекция будет проще, меньше матана и кода.  

• Обсуждение разницы между регрессией и классификацией.  

• Регрессия предсказывает значения на отрезке, например, цена акций.  

• Формула линейной регрессии: данные о квартире домножаются на веса и добавляются баэс.  

• Пример: предсказание цены квартиры по площади, времени до метро и количеству призраков.  

• Классификация предсказывает класс, а не значение.  

• Пример: классификация квартир на коттеджи и хрущевки.  

• Бинарная и многоклассовая классификация.  

• Датасет с ирисами: три типа цветов, четыре фичи.  

• Пример многоклассовой классификации.  

• Датасет ирисов как классический пример в машинном обучении.  

• Датасет встроен в библиотеки машинного обучения.  

• Показ датасета в виде гистограммы.  

• Логистическая регрессия для классификации.  

• Построение линий для классификации.  

• Пример с ирисами: разделение видов цветов.  

• Данные в виде датафрейма с фичами и таргет-классом.  

• Линейная регрессия не подходит для классификации.  

• Пример с определением доброкачественности опухоли.  

• Линейная регрессия может не работать с выбросами.  

• Линейная регрессия выдает числа от -бесконечности до +бесконечности.  

• Добавление функции активации для преобразования чисел в классы.  

• Пример с порогом для классификации опухолей.  

• Порог в модели не является параметром, а определяется формулой.  

• Модель сама находит порог во время обучения.  

• Можно обучить модель с помощью параметра, но это имеет свои проблемы.  

• Модель предсказывает значения от 0 до 1, что указывает на уровень уверенности.  

• Уровень уверенности можно использовать в градиентном спуске.  

• Производная функции активации может быть сложной задачей.  

• Сигмоида показывает уровень уверенности модели.  

• Функция стремится к единице, что позволяет оценить вероятность.  

• Сигмоида встраивается поверх перцептрона и не влияет на сложные алгоритмы.  

• Сигмоида используется в различных фреймворках.  

• Модель обучается так, чтобы предсказывать числа вокруг нуля.  

• Можно модифицировать функцию активации для смещения результатов.  

• Существуют различные функции активации, такие как ReLU и Leaky ReLU.  

• ReLU и Leaky ReLU чаще используются в нейронных сетях.  

• Линейная регрессия не имеет производной, что делает её менее полезной.  

• Функции активации используются в современных фреймворках, таких как Keras.  

• В Keras можно изменять параметры активации для различных слоев.  

• Оптимизаторы, такие как Adam, используются для минимизации функции ошибки.  

• Модель предсказывает уровень уверенности, который можно использовать.  

• В следующей главе будет обсуждаться, что делать с этой информацией.  

• Обсуждение среднеквадратичной ошибки для регрессии.  

• Необходимость новой функции ошибки для задач классификации.  

• Новая функция должна иметь минимум, равный нулю, и учитывать уверенность модели.  

• Лог-лог ошибка L1:L2.  

• Объяснение работы функции на примере предсказания класса.  

• Лог-лог ошибка растет анти-логарифмически, что делает её более чувствительной к ошибкам.  

• Простота производной лог-лог ошибки.  

• Возможность использования любой функции ошибки с градиентным спуском.  

• Оптимайзер не зависит от функции ошибки, а только от её производной.  

• Байесовская кросс-энтропия BCE.  

• Сравнение с категориальной кросс-энтропией.  

• Возможность использования различных функций ошибки в зависимости от задачи.  

• Использование функции софтмакс для многоклассовой классификации.  

• Логистическая регрессия для классификации.  

• Проблема с колебаниями между классами и решение с помощью софтмакс.  

• Обсуждение кода и функций, таких как сигмоида и логарифм.  

• Использование функции softmax для классификации.  

• Пример работы softmax с тремя нейронами.  

• Введение в многоклассовую классификацию и категориальную кросс-энтропию.  

• Сравнение с бинарной кросс-энтропией.  

• Переход к матричным вычислениям.  

• Важность знания производных и перемножения матриц.  

• Влияние геймеров на развитие GPU и нейросетей.  

• Пример линейной регрессии и перемножения матриц.  

• Сравнение обычной функции на Python и матриц на Numpy.  

• Пример с 10,000 весами и параметрами.  

• Результаты тестирования: матричная функция в 1000 раз быстрее.  

• Объяснение необходимости транспонирования матриц.  

• Пример транспонирования для перемножения матриц.  

• Преимущества использования матриц для ускорения вычислений.  

• Викторизация позволяет считать все значения сразу, а не по отдельности.  

• Матричные вычисления упрощают процесс, позволяя обрабатывать большие объемы данных.  

• Важно понимать размерности матриц и их влияние на результат.  

• Перцептрон можно описать одним вектором, что упрощает его представление.  

• Иногда в нотации убирают символ "б", добавляя единички в иксы.  

• Это не совсем правильно, но часто встречается.  

• Метод наименьших квадратов позволяет найти минимум функции одним выражением.  

• Градиентный спуск становится аккуратнее с использованием матриц.  

• Викторизация ускоряет обучение моделей и предсказания.  

• Использование NumPy позволяет ускорить обучение моделей.  

• Викторизация делает алгоритмы независимыми от количества фичей.  

• Пример с дата-сетом ирисок показывает, как можно создать модель в несколько строк кода.  

• Линейные модели, такие как логистическая регрессия, строят прямые линии для разделения классов.  

• Нелинейные модели, такие как KNN, имеют более сложные границы.  

• На следующей лекции будут рассмотрены более современные модели, такие как ансамбли и нейросети.