CSAT и CES: формулы, пример расчёта и ловушки опросных метрик

Коротко

CSAT (Customer Satisfaction Score, индекс удовлетворённости клиентов) — доля ответивших, которые довольны конкретным опытом: покупкой, доставкой, ответом поддержки. CES (Customer Effort Score) — оценка того, насколько легко клиенту было решить свой вопрос.

• CSAT по пятибалльной шкале — доля оценок 4 и 5 среди всех ответов, в процентах.
• CES чаще считают как среднюю оценку по шкале 1–7 или как долю ответов 5–7.
• Обе метрики спрашивают сразу после события. Вопрос «довольны ли вы нами вообще» — это другая метрика, ближе к NPS.
• Отвечают не все: при отклике 20% число описывает ответивших, а не клиентов.
• У доли есть доверительный интервал. На 320 ответах при CSAT 75% это примерно ±5 п.п.
• Средний балл скрывает распределение, а общий CSAT зависит от состава обращений — смотрите на доли и сегменты.

Что такое CSAT и как его считать: формула

CSAT измеряют одним вопросом о только что случившемся: «Насколько вы довольны решением вашего вопроса?», «Оцените доставку заказа». Клиент выбирает оценку, а метрика — доля положительных оценок среди всех полученных.

У CSAT нет автора и единого стандарта, поэтому шкалу каждая компания выбирает сама. Самый частый вариант — пять баллов, где довольными считают тех, кто поставил 4 или 5. Встречаются шкала из семи баллов (довольные — 5–7 или 6–7, это нужно решить заранее), десятибалльная и бинарная «палец вверх / палец вниз». Смайлики вместо цифр — та же шкала из трёх или пяти делений.

Из-за этого CSAT двух компаний нельзя сравнивать, пока не известно, что у каждой в числителе. 80% при шкале из двух вариантов и 80% как доля оценок 4–5 из пяти — разные числа: нейтральный клиент на бинарной шкале вынужден выбрать сторону, на пятибалльной поставит тройку.

Тройка по пятибалльной шкале в числитель не входит, но входит в знаменатель — как нейтралы в NPS. Клиенты, которые не ответили, не входят никуда, и это главная оговорка метрики: к ней вернёмся ниже.

Пример расчёта CSAT

Пример условный: числа подобраны, чтобы арифметику было легко проверить. За месяц поддержка закрыла 1 600 обращений, после каждого клиент получил вопрос «Насколько вы довольны решением?» со шкалой от 1 до 5. Ответили 320 человек — отклик 20%.

Довольных, то есть оценок 4 и 5, — 96 + 144 = 240. CSAT = 240 / 320 = 75%. Недовольных, оценок 1 и 2, — 22 + 18 = 40, это 12,5% ответов. Средняя оценка — (22 × 1 + 18 × 2 + 40 × 3 + 96 × 4 + 144 × 5) / 320 = 1 282 / 320 ≈ 4,01.

Что такое CES и как считать Customer Effort Score

CES отвечает на другой вопрос: не «понравилось ли», а «сколько сил это стоило». Метрику описали Мэттью Диксон, Карен Фримен и Николас Томан в статье «Stop Trying to Delight Your Customers» в Harvard Business Review в 2010 году. Их тезис: в обслуживании клиента удерживает не восторг, а отсутствие лишних усилий — не пришлось звонить дважды, повторять одно и то же трём операторам, искать форму возврата.

В исходном варианте клиента спрашивали, сколько усилий ему пришлось приложить, по шкале от 1 до 5, и хорошей была низкая оценка. Позже авторы методики перешли к утверждению, с которым клиент соглашается или нет: «Компания сделала так, что решить мой вопрос было легко» — по шкале от 1 («совершенно не согласен») до 7 («полностью согласен»). Здесь хорошая оценка уже высокая. Прежде чем сравнивать CES с чужим или со своим прошлогодним, проверьте, какая редакция вопроса за ним стоит.

Считают CES двумя способами: как среднюю оценку или как долю ответов 5–7 — по аналогии с CSAT. Условный пример: 250 ответов по шкале от 1 до 7 распределились как 10, 15, 20, 30, 45, 70, 60. Средняя — 1 285 / 250 = 5,14. Доля ответов 5–7 — (45 + 70 + 60) / 250 = 70%. Второй вариант удобнее: у доли понятный смысл («семи из десяти было легко») и простой доверительный интервал.

CES полезен там, где у клиента есть задача и путь к ней: обращение в поддержку, возврат, смена тарифа, подключение интеграции. Спрашивать про усилия после просмотра главной страницы бессмысленно — человеку не с чем сравнивать.

CSAT, NPS и CES: в чём разница

Три метрики часто ставят в один ряд, хотя они измеряют разное и на разной дистанции. CSAT и CES привязаны к событию, NPS — к отношениям с продуктом в целом. Клиент может поставить пятёрку оператору и ноль на вопрос о рекомендации: оператор был вежлив, но обращаться пришлось из-за третьего сбоя за месяц.

Поэтому замена одной метрики другой не работает. Если нужен регулярный замер отношения к продукту — это NPS, о его расчёте и погрешности есть отдельный разбор. Если нужно понять, как работает конкретный шаг, — CSAT. Если шаг есть, а вопрос в том, почему клиенты до него не доходят или обращаются повторно, — CES.

Когда спрашивать: после события, а не «вообще»

CSAT имеет смысл, только когда понятно, что именно оценивает клиент. Вопрос «Насколько вы довольны нашим сервисом?», отправленный всей базе раз в квартал, собирает смесь: один вспомнил вчерашний сбой, другой — цену, третий — рекламу. Действовать по такому числу нельзя, потому что неясно, к чему оно относится.

Рабочая схема — опрос по событию. Обращение закрыто — вопрос о решении. Заказ получен — вопрос о доставке. Клиент прошёл онбординг — вопрос о том, удалось ли сделать первое действие. Точки для таких опросов удобно брать из карты пути клиента: на каждом этапе свой вопрос и свой владелец метрики.

Три вещи нужно зафиксировать и не менять без пометки на графике. Момент: сразу после события или через сутки — оценки будут разными, потому что через сутки ответят в основном те, кому есть что сказать. Формулировку: «довольны ли вы ответом оператора» и «довольны ли вы решением вопроса» дают разные числа, когда оператор вежливо отказал. И правило показа: всем или каждому пятому, не чаще раза в месяц одному клиенту — иначе постоянные клиенты перестают отвечать, и состав выборки сдвигается сам собой.

Кто на самом деле отвечает: смещение выборки

В примере ответили 320 клиентов из 1 600. CSAT 75% — это удовлетворённость ответивших. Чтобы перенести её на всех, нужно допущение: промолчавшие довольны так же, как ответившие. Проверить его по самим ответам нельзя, а причин ему не верить достаточно: на опросы охотнее реагируют те, у кого сильная эмоция, и те, кто вообще активно пользуется продуктом.

Насколько это допущение важно, показывает простая арифметика. Если бы все 1 280 промолчавших оказались недовольны, реальная доля довольных была бы 240 / 1 600 = 15%. Если все довольны — (240 + 1 280) / 1 600 = 95%. Крайности неправдоподобны, но и умеренный сценарий заметно сдвигает число: пусть среди промолчавших довольны 60% — тогда по всем клиентам выйдет (240 + 768) / 1 600 = 63%, а не 75%.

Доверительный интервал эту неопределённость не покрывает: он описывает только случайность отбора. Что можно сделать на практике: сравнить ответивших и промолчавших по тому, что известно про всех, — тема обращения, время до решения, число сообщений, тариф, стаж клиента. Если среди ответивших вдвое меньше долгих обращений, чем среди всех, CSAT завышен, и это видно без единого дополнительного опроса. Подробнее о том, когда выборка похожа на совокупность, — в статье о репрезентативности выборки.

Сколько ответов нужно: доверительный интервал для CSAT

CSAT — это доля, и у неё есть случайная погрешность. Стандартная ошибка доли — корень из p × (1 − p) / n. Для примера: p = 0,75, n = 320, корень из 0,75 × 0,25 / 320 ≈ 0,0242. Умножаем на 1,96 и получаем 95%-й интервал: 75% ± 4,7 п.п., от 70,3% до 79,7%.

Что это значит для слайда из вступления. В сентябре CSAT 75,0%, в октябре — 229 / 320 = 71,6%. Разница 3,4 п.п., её погрешность — корень из суммы квадратов двух стандартных ошибок, умноженный на 1,96: ±6,9 п.п. Интервал разницы от −3,4 до +10,3 п.п. включает ноль. По этим данным нельзя утверждать, что удовлетворённость упала.

На малых выборках приближение работает хуже. Команда из одного продукта получила 40 ответов, из них 30 довольных: те же 75%. По нормальному приближению выходит ±13,4 п.п., от 61,6% до 88,4%. Интервал Уилсона, который корректнее ведёт себя при малых n и долях, близких к 0 или 100%, даёт от 59,8% до 85,8%. Сравнивать такие 75% с прошлым месяцем или с соседней командой почти бесполезно: в интервал помещается и «всё плохо», и «всё отлично».

Обратная задача — сколько ответов собрать под нужную точность. Для ±3 п.п. при ожидаемом CSAT около 75% нужно 1,96² × 0,75 × 0,25 / 0,03² ≈ 801 ответ, для ±5 п.п. — 289. Отсюда практическое правило: недельный CSAT одной линии поддержки с парой сотен ответов различает только крупные сдвиги, а разрез «по операторам за неделю» — это шум. Как читать и показывать интервалы, разобрано в статье о доверительном интервале.

Средняя оценка или доля довольных

Средний балл выглядит точнее — «4,01» вместо «75%», — но прячет форму распределения. Оценка — порядковая шкала: расстояние между 1 и 2 не обязано быть тем же, что между 4 и 5, а среднее считает их равными. И одна и та же средняя получается из очень разных наборов ответов.

Ниже три условных распределения по 320 ответов. У всех сумма баллов 1 282 и средняя 4,01. В первом CSAT 75%. Во втором клиенты поделились между тройками и пятёрками: CSAT 50,3%, каждый второй не доволен, но и резко недовольных нет. В третьем почти все в восторге, а 74 человека поставили единицу: CSAT 76,9% — даже выше, чем в первом, — при 23,1% резко недовольных.

Третий случай показывает, что и сам CSAT говорит не всё: он не различает тройку и единицу. Поэтому рядом с долей довольных держат долю оценок 1–2. Для поддержки это часто важнее основного числа: единицы — это конкретные обращения, которые можно открыть и прочитать.

Почему CSAT упал, хотя в каждом сегменте вырос

Вернёмся к слайду. Обращения делятся на простые (вопрос по оплате, смена пароля) и сложные (сбой, спорный возврат). Сложные клиенты оценивают ниже — не обязательно из-за работы поддержки, а потому что сама ситуация неприятнее. Общий CSAT зависит от того, в какой пропорции смешаны эти группы.

В сентябре простых обращений среди ответов было 200, в октябре после неудачного релиза пропорция перевернулась. Внутри каждой группы довольных стало больше, а общий показатель снизился с 75,0% до 71,6% — только потому, что выросла доля сложных обращений. Это частный случай парадокса Симпсона.

Проверка простая: пересчитайте октябрь в сентябрьской структуре. (200 × 87,5% + 120 × 62,0%) / 320 = 77,9% — при прежнем составе обращений CSAT вырос бы. Вывод для планёрки другой: поддержка работает не хуже, а вопрос нужно адресовать релизу, который создал поток сложных обращений.

То же самое происходит при сравнении команд, стран и тарифов. Команда, которой достаются возвраты, почти всегда будет ниже команды, которая отвечает на вопросы о доставке. Сравнивать их общий CSAT — значит сравнивать потоки обращений. Сначала разрез по типу обращения, потом сравнение внутри типа; как выбирать такие разрезы, описано в материале о сегментации пользователей.

Как канал опроса меняет оценку

Один и тот же вопрос в разных каналах задают разным людям и в разных условиях. Окно в приложении видят только те, кто после события снова открыл приложение. Письмо через сутки читают те, кто читает письма, и отвечают те, кому не всё равно. Оценку голосом в конце звонка ставят, пока оператор ещё на линии, — и ставить низкую в этот момент неловко.

Отсюда два правила. Первое: не складывать ответы из разных каналов в одно число без пометки и не сравнивать CSAT чата с CSAT телефона как качество работы двух команд — различается и способ сбора, и аудитория. Второе: смена канала или момента показа — разрыв ряда. Перенесли опрос из письма в окно чата, и CSAT вырос на шесть пунктов — это свойство нового способа сбора, а не заслуга поддержки. На графике в этом месте ставят отметку и не проводят линию через неё.

Как связать CSAT и CES с поведением клиентов

Оценка в опросе — это слова. Понять, значат ли они что-то в вашем продукте, можно, только соединив ответы с действиями тех же людей: по идентификатору обращения и клиента. Универсальных чисел здесь нет: в одном сервисе недовольные уходят через неделю, в другом им некуда уйти.

Первая проверка — повторные обращения. Для каждой группы оценок посчитайте долю клиентов, которые обратились снова по той же теме в течение семи дней. В условном примере из 240 довольных вернулись 24 (10%), из 40 нейтральных — 10 (25%), из 40 недовольных — 18 (45%). Разрыв между довольными и недовольными большой: интервалы 6,8–14,5% и 30,7–60,2% далеко друг от друга. А вот нейтральных от недовольных на 40 ответах отличить нельзя — интервалы 14,2–40,2% и 30,7–60,2% перекрываются.

Вторая проверка — удержание. Сравните долю клиентов, которые остались активны или продлили подписку через 60–90 дней после ответа, по тем же группам. Считать это нужно по когортам — от даты ответа, с одинаковым сроком наблюдения у всех, иначе недавние ответы занизят retention просто потому, что срок ещё не прошёл.

Главное ограничение: связь не равна причине. Клиент со сложной проблемой и оценку поставит ниже, и уйдёт вероятнее — из-за проблемы, а не из-за оценки. Поэтому сравнивайте группы внутри одного типа обращения и не обещайте, что рост CSAT на пять пунктов даст столько-то удержания. Честный вывод звучит скромнее: «низкая оценка в нашем продукте — ранний признак повторного обращения, такие случаи стоит разбирать в первую очередь». Если же разрыва в поведении между группами нет, метрика описывает настроение, и ставить её команде в KPI рано.

Для такой проверки нужны данные о поведении и умение собрать их запросом. В Симуляторе SQL-аналитика retention, воронки и сегменты считают на базе продукта — тот же навык понадобится, когда к событиям добавится таблица ответов.

Типичные ошибки с CSAT и CES

Почти все они — не про формулу, а про сбор и чтение.

• Показывать CSAT без числа ответов и отклика. «75%» на 40 ответах и на 4 000 — разные утверждения.
• Переносить число на всех клиентов, когда ответил каждый пятый.
• Считать средний балл и радоваться «4,0», не глядя на долю единиц и двоек.
• Сравнивать команды, страны и месяцы с разным составом обращений по общему показателю.
• Менять шкалу, формулировку, канал или момент показа и продолжать общий график.
• Сравнивать свой CSAT с «отраслевым»: без знания чужой шкалы, вопроса и способа сбора такое сравнение ничего не говорит.
• Привязывать премию оператора к CSAT, пока оператор влияет на то, кто получит опрос.
• Не читать комментарии к низким оценкам. Причина в тексте полезнее сдвига на два пункта.

Частые вопросы о CSAT и CES

Итог

CSAT и CES — простые метрики с простой формулой, и ошибаются в них не в делении. Число становится пригодным для решений, когда рядом с ним стоят число ответов, отклик и интервал, когда известен состав обращений и когда хотя бы раз проверено, что оценка связана с тем, как клиенты ведут себя дальше.