Введение в группировку и агрегирование данных в pandas

Семен Лобачевский -

Группировка и агрегирование данных - важные операции при работе с табличными данными в pandas. Они позволяют разбивать данные на группы по одному или нескольким критериям, а затем применять агрегирующие функции (такие как sum, mean, count и др.) к каждой группе.

Основные методы для группировки и агрегирования

Основными методами для группировки и агрегирования данных в pandas являются:

  • groupby() - метод для разбиения данных на группы по одному или нескольким критериям.
  • agg() - метод для применения агрегирующих функций к каждой группе.

Пример использования

Рассмотрим пример использования groupby() и agg() на данных о спортивной команде:

import pandas as pd

# Создаем DataFrame
df = pd.DataFrame({'team': ['A', 'B', 'B', 'B', 'B', 'M', 'M', 'M'],
                   'position': ['G', 'G', 'F', 'G', 'F', 'F', 'C', 'C'],
                   'assists': [5, 7, 7, 8, 5, 7, 6, 9],
                   'rebounds': [11, 8, 10, 6, 6, 9, 6, 10]})

# Группируем по команде и позиции, вычисляем среднее количество передач
grouped = df.groupby(['team', 'position']).agg({'assists': ['mean']})
print(grouped.reset_index())

Результат:

  team position assists
                    mean
0    A        G     5.0
1    B        F     6.0
2    B        G     7.5
3    M        C     7.5

В этом примере мы сгруппировали данные по команде и позиции игроков, а затем применили функцию mean к столбцу assists для каждой группы.

Дополнительные возможности

Помимо groupby() и agg(), pandas предоставляет множество других полезных методов для работы с группированными данными, таких как transform(), filter(), apply() и др. Эти методы позволяют выполнять более сложные операции над группами, такие как применение пользовательских функций, фильтрация данных и многое другое.

Метод transform()

Метод transform() в библиотеке pandas позволяет выполнять групповые преобразования данных, сохраняя их форму и размер. Этот метод часто используется для центрирования данных путем вычитания среднего значения или для нормализации данных путем вычитания среднего и деления на стандартное отклонение.

Пример использования метода transform() для центрирования данных:

import pandas as pd

# Создаем DataFrame
df = pd.DataFrame({'group': ['A', 'B', 'A', 'B', 'A', 'B'],
                   'data': [3, 7, 2, 8, 4, 9]})

# Центрирование данных в каждой группе
centered_data = df.groupby('group')['data'].transform(lambda x: x - x.mean())
df['centered_data'] = centered_data
print(df)

Результат:

  group  data  centered_data
0     A     3           -1.0
1     B     7            1.5
2     A     2           -2.0
3     B     8            2.5
4     A     4            0.0
5     B     9            0.5

В этом примере метод transform() используется для центрирования данных в каждой группе, вычитая среднее значение группы из каждого элемента.

Метод filter()

Метод filter() в библиотеке pandas позволяет фильтровать данные в группах на основе определенных условий. Этот метод возвращает подмножество исходных данных в зависимости от результата, возвращаемого функцией-фильтром для каждой группы.

Пример использования метода filter():

import pandas as pd

# Создаем DataFrame
df = pd.DataFrame({'group': ['A', 'B', 'A', 'B', 'A', 'B'],
                   'data': [3, 7, 2, 8, 4, 9]})

# Фильтрация данных в каждой группе
filtered_data = df.groupby('group').filter(lambda x: x['data'].mean() > 5)
print(filtered_data)

Результат:

  group  data
1     B     7
3     B     8
5     B     9

В этом примере метод filter() используется для фильтрации данных в каждой группе на основе условия, что среднее значение данных в группе больше 5.

Метод apply()

Метод apply() в библиотеке pandas позволяет применять функцию к каждому элементу, строке или столбцу DataFrame. Этот метод часто используется для выполнения пользовательских операций на данных.

Пример использования метода apply():

import pandas as pd

# Создаем DataFrame
df = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]})

# Применяем функцию к каждому столбцу
result = df.apply(lambda x: x*2)
print(result)

Результат:

   A   B
0  2   8
1  4  10
2  6  12

В этом примере метод apply() используется для умножения каждого элемента в столбцах DataFrame на 2.

Группировка и агрегирование данных в pandas являются мощными инструментами для анализа и обработки табличных данных. Они позволяют эффективно работать с большими наборами данных, извлекать ценную информацию и принимать обоснованные решения на основе данных.