Лекция 1. Описательные статистики. Квантили, квартили. Гистограммы

• Рассматривается набор данных о продаже домов в Айове.  

• Цель - построить модель для определения цены дома.  

• Используется третий набор данных из курса.  

• Модель может быть полезна не только преподавателям, но и риэлторам.  

• Формула для определения цены дома может приносить 800 миллионов долларов в год.  

• Пример компании Zillow, которая разработала и улучшила эту формулу.  

• Сайт с формулой для оценки домов может привлечь широкую аудиторию.  

• Возможность рекламы для юристов, сантехников и других специалистов.  

• Формула может стать успешным бизнесом при правильном использовании.  

• Рекомендуется использовать отдельные рабочие папки для каждого набора данных.  

• Это помогает организовать промежуточные результаты и отчеты.  

• Импорт данных с помощью команды read_csv.  

• Важно указать разделитель и расположение строки с названиями столбцов.  

• Просмотр первых пяти строк данных для анализа.  

• Команда `shape` выводит размерность данных.  

• Команда `len` возвращает количество строк.  

• Проверка классов столбцов и отсутствие мусора в данных.  

• Переменные могут быть измерены в номинальной, порядковой или количественной шкале.  

• Количественная шкала: числа, килограммы, метры, секунды и т.д.  

• Порядковая шкала: результаты можно сравнивать, но разность значений бессмысленна.  

• Номинальная шкала: результаты представлены числами или кодами, которые нельзя сравнивать.  

• Анализ данных в количественной шкале отличается от анализа данных в номинальной шкале.  

• Описательные статистики для всех столбцов и переменных.  

• Использование синонимов для столбцов, переменных и строк.  

• Первые четыре числа для переменных в количественной шкале.  

• Среднее арифметическое, стандартное отклонение, минимум и максимум.  

• Квартили уровня 0.25, 0.5 и 0.75.  

• Квартили уровня 0.25 и 0.75 как центральные наблюдения.  

• Медиана как типичное наблюдение.  

• Децили как наблюдения, делящие выборку на десять равных частей.  

• Поиск аномалий в данных.  

• Переменные в номинальной шкале: уникальные значения и отсутствующие данные.  

• Важность проверки данных на ошибки.  

• Построение гистограмм для анализа данных.  

• Алгоритм построения гистограммы: деление отрезка на интервалы и подсчет наблюдений.  

• Высота столбцов определяется по двум формулам, одна из которых нормирует площадь под графиком.  

• Вторая формула для нормирования гистограмм.  

• Сравнение гистограмм для разных выборок.  

• Плотность распределения и ее связь с теоретическими конструкциями.  

• Теория вероятности и математическая статистика расширяются до анализа данных.  

• Пример с фишкой казино: как действовать, если красное выпало 30 раз подряд.  

• Три варианта: ставить на черное, бросать монетку или ставить на красное.  

• Теория вероятности: результаты предыдущих бросков не влияют на следующие.  

• Анализ данных: рулетка может быть эффективной, но вероятность этого низкая.  

• Вероятность как математическая модель для доли исходов.  

• Гистограмма как попытка найти плотность распределения.  

• Важность площадей на гистограмме для интерпретации данных.  

• Выбросы как аномальные наблюдения, которые можно увидеть на гистограмме.  

• Пример с Ford Mustang: революция на рынке автомобилей.  

• Анализ распределения владельцев по возрасту.  

• Вторая революция: продажа базовой модели с дополнительными опциями.  

• Семья покупает квартиру и выбирает школу для сына.  

• Использование гистограмм для анализа результатов ЕГЭ по математике.  

• Оценка школ по количеству решенных задач.  

• Сравнение гистограмм для оценки школ.  

• Определение площадей гистограмм для анализа.  

• Выявление школ с лучшими и худшими результатами.  

• Учитель выбирает группу учеников и доводит их до идеала.  

• Влияние типа ученика на выбор школы.  

• Важность гистограмм для анализа данных.  

• Нормальное распределение и его особенности.  

• Легкость расчета вероятностей и квантилей.  

• Использование справочников для сложных расчетов.  

• Гистограммы могут выглядеть не так, как хотелось бы.  

• Увеличение числа столбиков для улучшения восприятия.  

• Влияние случайных отклонений на восприятие гистограммы.  

• Логарифмирование для улучшения гистограмм.  

• Преобразование данных для симметричного распределения.  

• Влияние функции логарифма на гистограммы.  

• Ядерные оценки плотности и их значение.  

• Оценка плотности распределения по данным.  

• Улучшение гистограмм с помощью ядерных оценок.  

• Высота столбцов увеличивается или уменьшается в зависимости от наблюдений.  

• Столбцы состоят из "кирпичиков", которые могут быть смещены влево.  

• Улучшение: каждый кирпичик должен быть точно над наблюдением.  

• Гистограмма может быть улучшена, если использовать гладкую линию вместо кирпичиков.  

• Гладкая линия называется ядром, и её высота определяется как ядерная оценка плотности.  

• Ядерная оценка плотности позволяет избежать изломов в гистограмме.  

• Параметр "аш" управляет размазанностью линии.  

• Чем больше "аш", тем более пологая линия, но менее точная.  

• Чем меньше "аш", тем более точная линия, но более извилистая.  

• В Python используется формула Скотта и Сильвермана для выбора "аш".  

• Формула основана на предположении нормального распределения.  

• Экспериментирование с разными формулами для "аш" полезно.  

• Функция "к" должна быть симметричной и неотрицательной.  

• Интеграл от "к" должен быть равен единице.  

• На практике часто используется гауссовская функция.  

• Гистограммы полезны для одного распределения, но не для сравнения нескольких.  

• Для сравнения нескольких групп лучше использовать ящики с усами.  

• Гистограммы подходят для одной группы, но не для нескольких.