Переменные и метрики | Вероятность и статистика #1

• Приветствие участников и объяснение формата курса.  

• Курс будет посвящен статистике и философии.  

• Курс будет практическим и юмористическим.  

• Курс будет на Python.  

• Цель курса - создать базу для дальнейшего изучения статистики.  

• Будут рассмотрены метрики, используемые в вероятности и статистике.  

• Пример данных с 1000 строками и двумя переменными.  

• Объяснение понятия переменной и её значений.  

• Проблема анализа больших объемов данных.  

• Различие между непрерывными и дискретными переменными.  

• Пример с возрастом и количеством детей.  

• Философский аспект непрерывности и дискретности.  

• Пример анализа переменной "количество детей".  

• Использование функции value_counts для подсчета значений.  

• Визуализация данных с помощью гистограммы.  

• Использование гистограммы для визуализации данных.  

• Проблемы с отображением процентов на гистограмме.  

• Важность анализа данных для понимания их структуры.  

• Использование sns.histplot для визуализации дискретных переменных.  

• Пример с переменной "children" и её распределением.  

• Понимание структуры распределения дискретных переменных.  

• Сложности с визуализацией непрерывных переменных.  

• Разбиение непрерывного диапазона на равные части для анализа.  

• Использование функции pd.cut для создания диапазонов.  

• Гистограммы помогают понять распределение данных.  

• Пример с переменной "age" и её разбиением на диапазоны.  

• Возможность создания таблиц для анализа данных.  

• Среднее значение как метрика для оценки переменных.  

• Пример с переменной "number of children".  

• Простота вычисления среднего значения.  

• Среднее значение как сумма, деленная на количество элементов.  

• Проблема "Билла Гейтса" и её влияние на среднее значение.  

• Важность использования среднего значения в контексте других метрик.  

• Использование гистограмм для анализа распределения данных.  

• Пример с переменной "income" и её перекошенным распределением.  

• Важность комплексного анализа данных для принятия решений.  

• Медиана как метрика для оценки данных.  

• Пример с переменной "salary" и её медианой.  

• Медиана как инструмент для анализа данных с перекошенным распределением.  

• Медиана - это значение, которое делит числовой ряд пополам.  

• Для нахождения медианы нужно отсортировать числа и найти значение посередине.  

• Медиана показывает, что 50% наблюдений имеют значение меньше медианы.  

• В маленьких выборках медиана может не соответствовать 50% наблюдений.  

• Для больших выборок медиана работает точнее.  

• Медиана важна для анализа данных, но требует проверки.  

• Мода - это самое частое значение, но для непрерывных переменных она бесполезна.  

• В повседневной жизни мода часто используется как топ-1 значение.  

• Использование простых слов вместо терминологии повышает конверсию.  

• Среднее и медиана помогают понять распределение данных.  

• Важно использовать оба показателя для полного анализа.  

• Гистограмма помогает визуализировать распределение данных.  

• Процентиль - это значение, ниже которого находится определенный процент наблюдений.  

• Процентили можно вычислить с помощью квантилей.  

• Процентиль равен квантилю, умноженному на 100.  

• Процентили и квантили помогают анализировать данные.  

• 10% людей имеют зарплату ниже 58000, 30% - ниже 86000.  

• Квартили: 25% - первый квартиль, медиана, 75% - третий квартиль.  

• Процентили могут различаться в разных источниках.  

• Важно проверять точность расчетов процентилей.  

• Пример с использованием np.percentile для расчета процентилей.  

• Боксплот показывает медиану, квартили и межквартильный размах.  

• Используется для симметричных распределений.  

• Пример с доходом военкома, где боксплот показывает выбросы.  

• Использование describe для табличной формы данных.  

• Включает количество наблюдений, среднее, стандартное отклонение и другие показатели.  

• Стандартное отклонение как мера разброса данных.  

• Вычисление среднего значения и отклонения от него.  

• Пример с данными, где некоторые значения меньше или больше среднего.  

• Проблема с распределением отклонений и необходимость их оценки.  

• Распределение отклонений похоже на оригинальное распределение.  

• Попытка посчитать среднее отклонение и его проблемы.  

• Отрицательные и положительные значения могут cancel out.  

• Использование модуля abs для избавления от знаков.  

• Среднее отклонение и его отличие от стандартного отклонения.  

• Стандартное отклонение как корень из дисперсии.  

• Возведение значений в квадрат для расчета дисперсии.  

• Стандартное отклонение как корень из дисперсии.  

• Проблема смещения при расчете стандартного отклонения.  

• Использование степеней свободы для правильного расчета стандартного отклонения.  

• Стандартное отклонение как математическая концепция.  

• Применение стандартного отклонения в анализе данных.  

• Стандартное отклонение как неинтуитивная метрика.  

• Сравнение с средним абсолютным отклонением.  

• Влияние квадрата на стандартное отклонение.  

• Стандартное отклонение полезно для теорем, но не для анализа данных.  

• Использование среднего отклонения для практических целей.  

• Книга "Статистика конце птенцы" как источник информации о стандартном отклонении.  

• Корреляция показывает линейную взаимосвязь между переменными.  

• Корреляция может быть полезна, но часто мешает анализу.  

• Корреляция не учитывает нелинейные связи, что делает её неэффективной.  

• Линейная связь: при увеличении одной переменной другая также увеличивается.  

• Нелинейная связь: при увеличении одной переменной другая уменьшается.  

• Корреляция не может обнаружить нелинейные связи.  

• Корреляция основана на стандартном отклонении, что имеет свои недостатки.  

• Корреляция завышает значения для больших наблюдений.  

• Корреляция не подходит для практического анализа.  

• Корреляция полезна только для линейной связи.  

• В нелинейных случаях корреляция не работает.  

• Корреляцию следует использовать с осторожностью.  

• Использование сводных таблиц для анализа данных.  

• Пример с возрастом и доходами показывает нелинейную связь.  

• Нелинейные связи требуют более сложных методов анализа.  

• Нелинейные связи могут быть любыми формами.  

• Корреляция не существует для нелинейных связей.  

• Корреляция полезна только для линейных связей.  

• Непрерывные и дискретные переменные.  

• Гистограмма используется для анализа непрерывных переменных.  

• Медиана и процентили помогают понять распределение данных.  

• Процентили показывают, какие значения встречаются чаще всего.  

• Важные процентили изображены на боксплоте.  

• Межквартильный размах полезен для анализа симметричных распределений.  

• Табличная форма включает среднее, стандартное отклонение, минимум, максимум.  

• Стандартное отклонение не всегда полезно для практических целей.  

• Вместо стандартного отклонения рекомендуется использовать медиану.  

• Обсуждение использования std вместо min и max.  

• Корреляция редко используется, но важно знать её значение.  

• Курс называется "Вероятность и статистика", а не "Статистика и вероятность".  

• Использование приборной панели для анализа переменных.  

• Важность изучения вероятности перед статистикой.  

• Неприятие сложных графиков и предпочтение строгих графиков из учебников.  

• Использование scatter plot для визуализации данных.  

• Пример нелинейности в данных о возрасте и доходе.  

• Корреляция и её применение к дискретным переменным.  

• Построение box plot для анализа данных.  

• Пример взаимосвязи между количеством детей и доходом.  

• Нелинейность и корреляция в данных.  

• Важность правильного анализа данных.  

• Переход к изучению генераторов и вероятности.  

• Благодарность зрителям и анонс следующих тем.