Лекция 1. Описательные статистики. Квантили, квартили. Гистограммы

• Набор данных содержит характеристики домов и их цены.  

• Цель - построить модель для определения цены дома.  

• Это третий набор данных, используемый в курсе.  

• Модель может быть использована для оценки стоимости домов.  

• Компания Zillow разработала формулу для оценки стоимости домов.  

• Сайт Zillow приносит 800 миллионов долларов в год благодаря рекламе.  

• Рекомендуется использовать отдельные рабочие папки для каждого набора данных.  

• Это помогает организовать промежуточные результаты и отчеты.  

• Импорт данных в формате CSV с использованием библиотеки Pandas.  

• Важно указать разделитель и расположение столбцов с названиями.  

• Различие между переменными в номинальной, порядковой и количественной шкале.  

• Описательные статистики помогают понять структуру данных.  

• Описательные статистики включают среднее арифметическое, стандартное отклонение и квантили.  

• Квантили помогают понять распределение данных и их характеристики.  

• Квантиль уровня п, где п - число между нулем и единицей, называется наблюдение.  

• Вариационный ряд - это числа, расположенные в порядке возрастания.  

• Медиана - это центральное наблюдение, меньше которого половина и больше которого половина всех наблюдений.  

• Квартили уровня 0.25 и 0.75 - это центральные 25% и 75% наблюдений соответственно.  

• Децили делят выборку на десять равных частей.  

• Квантиль уровня 1 - это наибольшее наблюдение, квантиль уровня 0 - наименьшее.  

• Аналитики ищут аномалии в данных, чтобы выявить ошибки.  

• Для переменных в номинальной шкале средние значения квантилей не имеют смысла.  

• Гистограммы помогают визуализировать распределение данных.  

• Гистограмма строится на основе значений переменной.  

• Отрезок между минимальным и максимальным значениями делится на равные части.  

• Высота столбца определяется по одному из двух правил: пропорционально числу наблюдений или как число наблюдений, деленное на общее число и длину интервала.  

• Вторая формула позволяет сравнивать гистограммы с разным количеством наблюдений.  

• Плотность распределения помогает рассчитывать вероятности.  

• Теория вероятности и математическая статистика имеют разные подходы к анализу данных.  

• Теория вероятности утверждает, что результаты предыдущих бросков не влияют на будущие.  

• Анализ данных показывает, что красное выпадает чаще, что указывает на неэффективность рулетки.  

• В худшем случае можно поставить на красное, так как это не приведет к значительным потерям.  

• Гистограмма помогает оценить плотность распределения.  

• С ростом числа наблюдений гистограмма приближается к плотности распределения.  

• Важно смотреть на площади гистограммы для интерпретации данных.  

• Гистограммы помогают выявлять выбросы и аномальные наблюдения.  

• Пример с Ford Mustang: гистограмма показала, что автомобиль покупали не только молодые люди, но и пожилые.  

• Пример с выбором школы для сына: гистограмма помогла определить, какая школа лучше подходит для ученика.  

• Гистограммы нормального распределения имеют определенные характеристики.  

• Для увеличения числа столбиков гистограммы используется опция "bins".  

• Важно понимать, как гистограмма выглядит и как ее интерпретировать.  

• Обнаружены восемь выбросов, которые могут быть связаны с дорогими домами.  

• Выбросы требуют отдельного анализа, так как они не подчиняются общим закономерностям.  

• Восприятие гистограммы зависит от количества столбиков.  

• Пики на гистограмме нестабильны и зависят от количества столбиков.  

• Случайные отклонения всегда будут присутствовать, но важно учитывать их влияние.  

• Гипотеза о смеси двух распределений: много "мосик" и немного "слонов".  

• Логарифмирование цен делает гистограмму более симметричной и похожей на нормальное распределение.  

• Логарифм делает значения между нулем и единицей отрицательными, а большие значения занижает.  

• Важно сначала приблизить гистограмму к нулю, а затем логарифмировать.  

• Студенты часто накладывают линии на гистограммы, что не всегда правильно.  

• Ядерная оценка плотности - это приближение теоретической характеристики случайной величины.  

• Улучшение гистограммы включает сглаживание и расположение наблюдений в центре кирпичиков.  

• Вместо кирпичиков можно использовать гладкие линии, что улучшает восприятие.  

• Ядерная оценка плотности - это сумма гладких функций, что делает гистограмму более гладкой.  

• Ядерная оценка плотности обобщает гистограмму и имеет свои преимущества.  

• Обсуждение построения графиков и настройки параметров.  

• Пример изменения параметра "аш" для изменения вида графика.  

• Возможность автоматического подбора параметра "аш".  

• В Python реализована формула Скотта и Сильвермана.  

• Формула основана на предположении нормального распределения данных.  

• Функция "к" должна быть симметричной и неотрицательной.  

• Распределение Ячеечникова как лучшая функция "к".  

• На практике часто используется гауссовская функция "к".  

• Критика наложения ядерной оценки плотности на гистограмму.  

• Рекомендация строить график отдельно.  

• Вопрос о сравнении нескольких гистограмм на одном графике.  

• Ошибка при построении гистограмм с разным количеством данных.  

• Нормализация данных для корректного сравнения.  

• Гистограмма хороша для одного распределения, но не для нескольких групп.  

• Гистограмма подходит для одной группы, но не для нескольких.  

• Для сравнения нескольких групп лучше использовать ящики с усами.  

• Обсуждение ящиков с усами на следующем занятии.