Полное руководство для начинающих по описательной статистике в pandas

Основные методы описательной статистики в pandas

Рассмотрим основные функции pandas, которые применяются для анализа данных:

• mean() – вычисляет среднее значение числового ряда. Используется для получения представления о центральной тенденции данных.
• median() – находит медиану, которая равна значению, делящему ряд пополам. Этот метод полезен при наличии выбросов, так как медиана менее чувствительна к экстремальным значениям.
• std() – рассчитывает стандартное отклонение, показывая, насколько значения отклоняются от среднего. Это позволяет оценить вариативность данных.
• min() и max() – определяют минимальное и максимальное значения в наборе данных. Они помогают установить диапазон чисел в датасете.
• quantile() – вычисляет квантиль. Этот метод используется для анализа распределения данных, выявляя конкретные значения, ниже или выше которых попадает определённый процент данных.
• cumsum() и cumprod() – функции кумулятивной суммы и произведения. Эти методы полезны при анализе последовательности данных, позволяя увидеть накопительный эффект.
• diff() – вычисляет разницы между последовательными значениями. Этот метод помогает понять изменения между временными точками или корзинами данных.

Теперь более подробно рассмотрим каждую из этих функций.

Среднее значение и медиана

Функция mean() позволяет вычислить среднее значение ряда, что является одним из ключевых параметров при анализе данных. Например, если мы анализируем данные о росте моллюсков, среднее значение покажет нам, каков типичный рост в датасете.

Функция median() тоже важна, особенно когда данные распределены неравномерно или содержат выбросы. Медиана равна значению, которое находится в середине ряда и менее подвержена влиянию экстремальных значений.

Стандартное отклонение и вариация

Метод std() используется для вычисления стандартного отклонения, что позволяет понять, насколько данные отклоняются от среднего значения. Это важно при анализе, так как помогает оценить стабильность данных и отклонить гипотезы о равномерности распределения.

Минимальные и максимальные значения

Функции min() и max() выявляют экстремальные значения в данных. Эти методы полезны, когда необходимо знать границы распределения числового ряда.

Квантили

Метод quantile() вычисляет квантили, которые позволяют анализировать распределение данных более детально. Например, можно предположить, что 25% значений меньше первого квартиля (Q1), а 75% значений – меньше третьего квартиля (Q3).

Кумулятивные методы

Функции cumsum() и cumprod() используются для вычисления кумулятивной суммы и произведения соответственно. Они помогают увидеть накопительные эффекты, что особенно полезно при анализе временных рядов.

Разности между значениями

В pandas существует несколько встроенных методов, которые позволяют быстро получить основные характеристики данных. Рассмотрим самые полезные из них.

1. mean() — вычисляет среднее значение для числового столбца.
2. median() — находит медиану, то есть значение, которое делит упорядоченный набор данных на две равные части.
3. std() — вычисляет стандартное отклонение, показывающее, насколько данные отклоняются от среднего значения.

Рассмотрим пример использования этих функций на реальных данных. Допустим, у нас есть датасет df с числовыми данными:

import pandas as pd
# Пример данных
data = {
'Число': [10, 20, 30, 40, 50, 60, 70, 80, 90, 100]
}
df = pd.DataFrame(data)
print(df.mean())
print(df.median())
print(df.std())
print(df.describe())

Гистограммы для визуального анализа

Для лучшего понимания распределения данных полезно строить гистограммы. В pandas это можно сделать с помощью функции plot.hist(). Гистограммы показывают, как данные распределены по интервалам, и помогают выявить нормальное или иное распределение.

import matplotlib.pyplot as plt
# Построение гистограммы
df['Число'].plot.hist(alpha=0.5, bins=10)
plt.xlabel('Значения')
plt.ylabel('Частота')
plt.title('Гистограмма данных')
plt.show()

Среднее значение и медиана

Среднее значение и медиана – это две ключевые метрики, которые используются для оценки центрального значения набора данных. Они могут отличаться в зависимости от распределения значений, что важно учитывать при анализе.

• Медиана – это значение, которое находится в середине упорядоченной последовательности данных. Она менее чувствительна к выбросам и дает более надежное представление о центральной точке распределения, особенно в случаях, когда данные имеют аномалии.

Для иллюстрации вычисления среднего значения и медианы, рассмотрим небольшой датасет:

import pandas as pd
data = pd.DataFrame({
'scores': [50, 80, 90, 100, 110, 150, 200]
})
# Среднее значение
mean_value = data['scores'].mean()
print(f"Среднее значение: {mean_value}")
# Медиана
median_value = data['scores'].median()
print(f"Медиана: {median_value}")

В этом примере значения в датасете ‘scores’ распределены таким образом, что среднее значение оказывается выше медианы из-за высоких выбросов (например, 200). Это подчеркивает важность использования медианы в дополнение к среднему значению, особенно в случаях, когда данные могут содержать аномальные величины.

Чтобы лучше понять, как данные распределены, часто строят гистограммы. Гистограммы позволяют визуализировать частотные распределения значений в датасете, показывая, как часто встречаются конкретные значения или корзины значений. Это дает более полное представление о распределении данных и помогает в принятии решений по дальнейшему анализу.

Ниже приведен пример создания гистограммы с использованием pandas и matplotlib:

import matplotlib.pyplot as plt
data['scores'].plot(kind='hist', bins=10, alpha=0.7, color='blue', edgecolor='black')
plt.title('Гистограмма scores')
plt.xlabel('Значения')
plt.ylabel('Частота')
plt.show()

Мода и стандартное отклонение

Мода (mode) – это значение, которое встречается чаще других в наборе данных. С помощью функций python-библиотеки pandas мы можем легко определить моду конкретных величин. Например, рассмотрим следующий датасет, содержащий цены различных товаров:

import pandas as pd
data = {'Товар': ['A', 'B', 'C', 'D', 'E'],
'Цена': [10, 20, 20, 30, 40]}
df = pd.DataFrame(data)
mode_price = df['Цена'].mode()[0]
print(f"Мода цен: {mode_price}")

В данном примере мода равна 20, так как это значение встречается чаще других. Функция mode() позволяет быстро вычислить это значение.

Стандартное отклонение (standard deviation) помогает понять, насколько сильно значения в наборе данных отклоняются от среднего. Оно важно для оценки вариативности данных и предположений о распределении величин. Используя метод std(), можно легко вычислить стандартное отклонение:

std_dev = df['Цена'].std()
print(f"Стандартное отклонение цен: {std_dev}")

В данном случае стандартное отклонение цен равно вычисленной величине. Это значение показывает, насколько сильно цены товаров разбросаны относительно среднего значения. Если стандартное отклонение небольшое, можно предположить, что цены распределены довольно близко к среднему значению. Большое стандартное отклонение указывает на значительные различия в ценах.

Знание моды и стандартного отклонения полезно не только в описательном анализе, но и в задачах машинного обучения, например, при работе с датасетами из kaggle. Эти методы позволяют более глубоко понять структуру данных и принимать обоснованные решения на основе анализа распределения значений. Важно учитывать их при анализе и агрегации данных, чтобы получить более точные результаты и прогнозы.

Описание распределения данных

Распределение данных позволяет понять, как значения в наборе данных распределены и какие тенденции можно обнаружить. Это важно в анализе, поскольку дает представление о том, насколько данные симметричны, имеют ли они выбросы или какие-либо другие характеристики, которые могут повлиять на результаты анализа.

Рассмотрим основные показатели, которые помогают описать распределение данных. На конкретном примере данных о ценах на жилье с платформы kaggle мы покажем, как применяются эти показатели.

Основные показатели распределения

Для описания распределения данных используют следующие показатели:

Показатель	Описание
Среднее (mean)	Среднее арифметическое всех значений. Позволяет определить центральную точку данных.
Медиана (median)	Значение, которое делит упорядоченный набор данных на две равные части. Часто используется при наличии выбросов.
Мода (mode)	Значение, которое появляется чаще других. Полезно при анализе частотных величин.
Размах (range)	Разница между максимальным и минимальным значениями в наборе данных. Показывает диапазон данных.
Дисперсия (variance)	Мера того, насколько данные разбросаны относительно среднего значения. Чем больше дисперсия, тем сильнее различаются данные.
Стандартное отклонение (std)	Корень квадратный из дисперсии. Показывает среднее отклонение значений от среднего.

Графическое представление распределения

Графики помогают визуализировать распределение данных. Наиболее популярными методами являются гистограммы и графики плотности. Гистограммы показывают, как часто встречаются значения в наборе данных, разделяя их на корзины. Графики плотности используют функции для сглаживания и показывают непрерывное распределение.

Пример гистограммы

Рассмотрим пример гистограммы для данных о ценах на жилье:

«`python

import matplotlib.pyplot as plt

import seaborn as sns

import pandas as pd

# Загрузка данных с kaggle

data = pd.read_csv(‘housing_prices.csv’)

# Построение гистограммы

plt.figure(figsize=(10,6))

sns.histplot(data[‘price’], bins=30, kde=True, color=’blue’, alpha=0.6)

plt.title(‘Распределение цен на жилье’)

plt.xlabel(‘Цена’)

plt.ylabel(‘Частота’)

plt.show()

Такой график позволяет увидеть, как распределены цены на жилье и есть ли явные выбросы или особенности в данных.

График плотности

График плотности (kde) позволяет получить более гладкое представление распределения:pythonCopy codeplt.figure(figsize=(10,6))

sns.kdeplot(data[‘price’], shade=True, color=’green’)

plt.title(‘Плотность распределения цен на жилье’)

plt.xlabel(‘Цена’)

plt.ylabel(‘Плотность’)

plt.show()

Используя эти методы визуализации, мы можем сделать более глубокий анализ данных и лучше понять их распределение.

Квартили и перцентили

Квартили — это конкретные показатели, которые делят данные на равные части. Они вычисляются с использованием функции quantile() библиотеки pddataframedata в Python. Примеры квартили включают первый, второй (медиана) и третий квартили, которые делят данные на четыре части. Первый квартиль называется Q1 и соответствует значению, ниже которого находится 25% данных. Третий квартиль, Q3, соответствует значению, ниже которого находится 75% данных.

Перцентили работают аналогично квартилям, но делят данные на 100 равных частей. Они вычисляются с использованием тех же функций, что и квартили, и позволяют более детально анализировать распределение данных. Например, 90-й перцентиль (P90) — это значение, ниже которого находится 90% данных.

Метод quantile() в библиотеке pddataframed является основным способом вычисления квартилей и перцентилей. Рассмотрим пример использования этого метода:

import pandas as pd
# Создаем DataFrame
data = {
'values': [10, 20, 30, 40, 50, 60, 70, 80, 90, 100]
}
df = pd.DataFrame(data)
# Вычисляем квартили
Q1 = df['values'].quantile(0.25)
Q2 = df['values'].quantile(0.50)
Q3 = df['values'].quantile(0.75)
# Вычисляем перцентили
P90 = df['values'].quantile(0.90)
print(f"Первый квартиль (Q1): {Q1}")
print(f"Медиана (Q2): {Q2}")
print(f"Третий квартиль (Q3): {Q3}")
print(f"90-й перцентиль (P90): {P90}")

Использование таких методов помогает не только определить основные статистические характеристики данных, но и проверить гипотезы и предположения о распределении данных. Например, если перцентили показывают, что большая часть данных находится в верхних значениях, это может предположить отклонение от нормального распределения, такого как гаусса.

Гистограммы и boxplot

Гистограмма представляет собой частотное распределение данных, разбитое на корзины, также называемые «nbin5». Она помогает увидеть, как значения распределены по диапазону, выявить пик (модальное значение) и понять общую форму распределения. С помощью python-библиотеки pandas вы можете легко строить гистограммы для анализа вашего датасета.

Boxplot, или «ящик с усами», показывает распределение данных через пять ключевых показателей: минимальное значение, первый квартиль, медиана, третий квартиль и максимальное значение. Этот график позволяет выявить выбросы и лучше понять разброс данных. Он особенно полезен при сравнении нескольких наборов данных или при анализе различных групп внутри одного набора.

Пример кода на Python для построения гистограммы и boxplot:

import pandas as pd
import matplotlib.pyplot as plt
# Загрузка данных
df = pd.read_csv('kaggle_dataset.csv')
# Построение гистограммы
df['column_name'].hist(bins=20)
plt.title('Гистограмма значений')
plt.xlabel('Значения')
plt.ylabel('Частота')
plt.show()
# Построение boxplot
df.boxplot(column='column_name')
plt.title('Boxplot значений')
plt.show()

Итак, использование гистограмм и boxplot является важной частью анализа данных. Эти инструменты позволяют получить глубокое понимание данных, выявить скрытые закономерности и проверить гипотезы. В следующем разделе мы рассмотрим другие методы визуализации и анализа, которые также могут быть полезны при работе с данными.

Работа с временными рядами

Основные методы работы с временными рядами

• Преобразование датасета: Начнем с преобразования данных в формат, который позволяет легко манипулировать временными метками. Это может включать в себя конвертацию строковых значений в объекты datetime.
• Ресемплирование данных: Часто возникает необходимость изменить частоту временных рядов, например, от дневных значений к месячным средним или наоборот. Использование функций вроде resample позволяет это сделать просто и эффективно.
• Вычисление скользящего среднего: Этот метод помогает сгладить временные ряды, выделяя тренды за счет усреднения значений за заданный период. Это можно сделать с помощью функции rolling и метода mean.

Основные показатели временных рядов

Для анализа временных рядов используются специфические показатели, которые помогают понять характеристики данных:

1. Тренды и сезонность: Выявление трендов и сезонных колебаний позволяет лучше понимать долгосрочные и краткосрочные изменения в данных.
2. Различия (diffs): Применение разниц позволяет исключить тренды и сделать данные стационарными, что важно для многих статистических моделей.
3. Кумулятивные функции: Функции типа cumsum и cumprod помогают анализировать накопленные значения и их изменения.

Пример использования временных рядов на практике

Рассмотрим простой пример анализа временных рядов на основе цен акций:

import pandas as pd
# Создание датасета
data = {'Дата': pd.date_range(start='1/1/2020', periods=100),
'Цена': np.random.rand(100) * 100}
df = pd.DataFrame(data)
# Преобразование столбца Дата в индекс
df['Дата'] = pd.to_datetime(df['Дата'])
df.set_index('Дата', inplace=True)
# Ресемплирование данных по месячным средним
monthly_mean = df.resample('M').mean()
# Вычисление скользящего среднего с окном в 7 дней
df['Скользящее Среднее'] = df['Цена'].rolling(window=7).mean()
# Применение разницы
df['Разница'] = df['Цена'].diff()

В приведенном выше примере мы создали датасет с ценами, выполнили ресемплирование для получения месячных средних значений, вычислили скользящее среднее и разницу. Эти методы помогают получить важные показатели, которые можно использовать в дальнейшем анализе.

Заключение