Pandas apply и векторизация: как писать быстрее и понятнее

Коротко

`apply(axis=1)` — хороший инструмент для сложного правила, которое трудно выразить иначе. Для арифметики, строковых методов, условий и дат сначала ищи операцию над всей Series. `map` и `replace` удобны для словаря значений, `np.select` — для нескольких условий.

• Начни с векторной операции и переходи к apply только при необходимости.
• Не используй `axis=1`, если условие зависит от одной колонки.
• Замеряй время на репрезентативном объёме данных.
• После переписывания сравни результат старой и новой версии на выборке.

Простая арифметика не требует apply

Построчный код выглядит привычно, но pandas уже умеет выполнять операцию над всей колонкой. Векторная версия лучше показывает формулу и не создаёт Python-вызов на каждую строку.

# Медленнее и сложнее читать на больших таблицах
orders['net_revenue'] = orders.apply(
    lambda row: row['revenue'] - row['discount'], axis=1
)

# Векторная версия
orders['net_revenue'] = orders['revenue'] - orders['discount']

Условия: np.select вместо вложенных if

Когда сегмент зависит от нескольких условий, `np.select` делает порядок правил явным. Условия проверяются сверху вниз, поэтому сначала ставь более специфичное правило. Значение `default` обязательно: иначе неизвестный случай легко потеряется.

import numpy as np

conditions = [
    orders['revenue'].ge(5000),
    orders['revenue'].ge(1500),
    orders['revenue'].ge(0),
]
choices = ['high', 'medium', 'low']
orders['order_segment'] = np.select(conditions, choices, default='invalid')

map и str работают над колонкой

Словарь каналов, нормализация регистра и поиск части строки не требуют построчной функции. Такие операции проще покрыть тестами и легче заметить, если неизвестное значение превратилось в пропуск.

channel_names = {'paid_social': 'paid', 'paid_search': 'paid'}
orders['channel_group'] = orders['channel'].map(channel_names)
orders['channel_group'] = orders['channel_group'].fillna('other')

orders['campaign'] = (
    orders['campaign'].astype('string').str.strip().str.lower()
)

Когда apply оправдан

Если правило использует несколько значений строки, вызывает сложную доменную функцию или строит небольшой текстовый объект, `apply` может быть самым понятным решением. Не нужно переписывать всё ради скорости. Сначала измерь узкое место и зафиксируй ожидаемый результат.