Лекция 1. Pandas. Открытый курс OpenDataScience по машинному обучению mlcourse.ai

• Курс называется "Open Data Science" и проводится на платформе Mail.ru.  

• Курс включает живые лекции и общение в сообществе.  

• Основная движуха в сообществе Open Data Science в России и СНГ.  

• Курс состоит из 10 лекций, большинство из которых проведет автор.  

• Приглашены эксперты для обсуждения.  

• Много практики: домашние задания, соревнования, индивидуальные проекты.  

• Использование популярных платформ для соревнований и проектов.  

• Возможность использования интересных данных для проектов.  

• Общение в Slack для обсуждения идей и помощи.  

• Упор на практику с пониманием алгоритмов.  

• Лекции по два часа: час теория, час практика.  

• Статьи курса будут меняться минимально.  

• Основной форум - Slack.  

• За домашние задания и проекты начисляются баллы.  

• Текущий рейтинг мотивирует участников.  

• Материалы курса на GitHub.  

• Установка библиотек и настройка окружения.  

• Топ-100 участников получат дополнительные поощрения.  

• Использование Python для Data Science.  

• Python удобен для построения решений и архитектур.  

• Примеры использования Python в исследовательской работе.  

• Использование Jupiter Notebooks для подачи материала.  

• Советы по установке и использованию библиотек.  

• Использование Docker для запуска кода.  

• Введение в регрессию и классификацию.  

• Примеры задач регрессии и их решения.  

• Методы снижения размерности данных для ускорения моделей.  

• Кастеризация помогает сгруппировать объекты данных.  

• Пример: сегментирование пользователей по возрасту и полу.  

• Задача сложнее классификации и регрессии, субъективные критерии качества.  

• Онлайн-обучение не загружает все данные в память.  

• Линейные модели эффективны на небольших выборках.  

• Пример: обработка текстов и классификация отзывов.  

• Временные ряды: прогнозирование и классификация.  

• Градиентный бустинг эффективен на реальных данных.  

• Примеры: соревнования по анализу данных и библиотеки для машинного обучения.  

• Нейронные сети не всегда подходят для небольших выборок.  

• Градиентный бустинг лучше для разнородных признаков.  

• Примеры: обработка изображений и звука.  

• После курса будет индивидуальный проект.  

• Примеры проектов: классификация аккаунтов в Instagram.  

• Участники могут выбрать любую задачу из классификации, регрессии или кластеризации.  

• Вопросы по логистике курса и конфиденциальности данных.  

• Ответы на вопросы о приглашении на курс и публикации проектов.  

• Возможность работы с конфиденциальными данными при необходимости.  

• Данные можно зашифровать, но это требует отдельного проекта по криптографии.  

• В реальных проектах лучше не делиться конфиденциальными данными.  

• Pandas используется для анализа данных в машинном обучении.  

• Данные сначала нужно подготовить и обработать, прежде чем строить модель.  

• Pandas Dataframe идеально подходит для работы с табличными данными.  

• Данные представлены в виде столбцов и строк, как в таблице.  

• Pandas DataFrame - это набор вертикально стоящих столбцов, каждый из которых является типом данных.  

• Pandas и NumPy векторы позволяют эффективно выполнять операции над данными.  

• Пример кода для работы с Pandas в Jupyter Notebook.  

• Преимущества использования Jupyter Notebook для разработки.  

• Маркдаун и LaTeX поддержка в Jupyter Notebook для удобной разметки кода.  

• Импортирование библиотеки Pandas и создание объекта Pandas DataFrame.  

• Чтение данных из файла с помощью метода read\_csv.  

• Проверка первых пяти записей данных и настройка разделителя.  

• Данные представляют собой социологический опрос 1960-х или 1970-х годов.  

• Исследовалось, как люди оценивают привлекательность друг друга.  

• Использовались фотомодели, данные о которых включали доход, опыт работы и другие характеристики.  

• Pandas унаследован от NumPy.  

• Метод shape показывает размерность массива данных: 1260 объектов и 10 признаков.  

• Метод info показывает краткую статистику по признакам: все числовые, без пропусков.  

• Метод describe показывает статистику по числовым признакам, включая среднее, стандартное отклонение и медиану.  

• Признаки, такие как доходы, сильно неравномерно распределены.  

• Индексация данных по столбцам с помощью Pandas.  

• Метод loc позволяет выбирать подматрицы по индексам строк и столбцов.  

• Логические маски позволяют задавать вопросы к данным, например, сравнение среднего дохода мужчин и женщин.  

• Метод iloc позволяет выбирать строки и столбцы по индексам.  

• Пример сравнения среднего дохода мужчин и женщин.  

• Пример сравнения дохода женатых мужчин и женщин.  

• Использование метода describe для анализа доходов.  

• Обсуждение важности медианного дохода вместо среднего.  

• Выводы о доходах женатых и неженатых мужчин.  

• Использование метода set_printoptions для ограничения длины вывода.  

• Пример использования встроенной документации для понимания методов.  

• Введение в запросы к данным и интеграция с SQL.  

• Пример использования метода groupby для группировки данных.  

• Пример группировки данных по признаку "рейтинг привлекательности".  

• Использование метода groupby для создания подвыборок по разным значениям категориального признака.  

• Агрегация данных по нескольким признакам.  

• Пример расчета среднего значения для признаков "доход" и "опыт работы".  

• Построение сводных таблиц для анализа взаимосвязей между признаками.  

• Пример анализа взаимосвязи между полом и статусом "женат/не женат".  

• Обсуждение возможности прогнозирования рейтинга привлекательности.  

• Пример построения сводной таблицы для категориальных признаков "пол" и "рейтинг привлекательности".  

• Добавление новых столбцов в датафрейм легко и просто.  

• Пример создания признака "бедные и богатые" на основе дохода.  

• Использование квантилей для сравнения с пороговыми значениями.  

• Преобразование значений в бинарные с помощью метода type.  

• Создание новых признаков путем суммирования, умножения и линейных комбинаций исходных столбцов.  

• Проблемы интерпретируемости линейных комбинаций.  

• Возможность повышения качества классификации.  

• Перерыв на 10 минут для обсуждения и ответов на вопросы.  

• Обсуждение статистических вопросов и значимости данных.  

• Вопросы о контейнерах и их использовании.  

• Преимущества использования контейнеров для изоляции зависимостей.  

• Вопросы о практическом применении и полезности статей.  

• Обсуждение различий между теорией и практикой.  

• Проблемы обработки больших объемов данных.  

• Проблемы с памятью и обработкой данных.  

• Обсуждение методов и инструментов для работы с большими данными.  

• Завершение трансляции и переход к практике с пандосом.  

• Использование функции apply для вычисления среднего по столбцам.  

• Пример с построением нового признака на основе функции.  

• Пример создания строкового признака "мужчина" или "женщина" на основе бинарного признака "фимейл".  

• Лямбда-функции позволяют создавать анонимные функции.  

• Пример использования лямбда-функции для создания строкового признака.  

• Пример использования map для создания нового признака на основе словаря.  

• Пример использования функционального программирования для анализа данных о клиентах телеком-оператора.  

• Обсуждение признаков, связанных с оттоком клиентов: продолжительность звонков, начисления, наличие международного роуминга и др.  

• Сортировка данных по различным признакам.  

• Пример исследования связи между признаками и целевым признаком "отток клиентов".  

• Пример создания сводных таблиц для анализа данных.  

• Пример создания нового признака через сумму других признаков.  

• Пример визуализации данных для лучшего понимания их структуры и взаимосвязей.  

• Заключение о важности визуализации данных для лучшего понимания и анализа.  

• Построение графика соотношения лояльных и нелояльных клиентов при различных значениях звонков в колл-центр.  

• Выявление порога, после которого количество лояльных клиентов начинает снижаться.  

• Использование простых эвристик для создания правил на основе данных.  

• Анализ данных для выявления закономерностей и создания правил.  

• Использование деревьев решений для автоматического построения правил.  

• Возможность создания гипотез на основе первичного анализа данных.  

• Введение в практику с набором данных Titanic.  

• Описание признаков: выжил/не выжил, класс каюты, имя, пол, возраст, число родственников.  

• Примеры запросов к данным и создания признаков.  

• Вопросы для проверки понимания и ссылка на веб-форму для получения правильных ответов.