[:en]
NPS, CSAT/CDSAT, and CES
Background. In 2010, a new powerful tool for evaluating customer experience emerged – the CES (Customer Effort Score). This innovative strategy was developed by consultants from the CEB firm. The idea was to determine the likelihood of repeat purchases based on the customer\’s answer to a single question. The beauty of this concept is that the question must really be only one (as it\’s widely known that with an increase in the number of questions, fewer customers make it to the end of the survey). CES turned out not merely as an indicator, but it also, by virtue of its nature, allowed the survey of the maximum numbers of customers.
From the perspective of the people at CEB, neither the NPS index, nor the CSAT/CDSAT pair nor any modifications of CSI were fit to serve as loyalty predictors (i.e., readiness to purchase or recommend a company\’s products). By that time, in July 2010, an article called \”Stop Delighting Your Customers\” had already been published in the \”Harvard Business Review\”, suggesting that the correlation between satisfaction and loyalty was low.
Incidentally, upon careful consideration, this is logically obvious because loyalty can be of different types. For example, if you need to fly to Norilsk, and only one airline offers flights there, you\’ll have to pay for the ticket, even if it costs as much as one to New York. It can\’t be helped: it\’s enforced loyalty to the monopolist.
According to the figures presented in the article, it turns out that 20% of satisfied customers are planning to stop making purchases, while 28% of dissatisfied ones would continue to buy. This proves the hypothesis that satisfaction indicators (CSAT/CDSAT and CSI) don\’t provide marketing services with the right conclusions about future customer behavior.
NPS as a loyalty indicator turned out to be slightly better, but due to its internal defects, it wasn\’t much help either. Why is NPS defective? The web offers serious critiques of this indicator, but to stay focused on the aim of the article, I\’ll mention the two main flaws:
- Even with identical NPS values, the distribution of detractors, neutrals, and promoters can vary. That is, two brands with different levels of audience loyalty may be marked with the same number.
- The NPS score greatly depends on how much time has passed after customer contact with the company, in other words, on the measurement methodology.
What did the experts at CEB come up with? The question for measuring CES was initially formulated as: \”How much effort did it take you to resolve your issue?\” It implied one of five response options, where 5 meant \”a lot of effort\”, and 1 – \”very little\”.
The idea was good and the thought was correct, but it turned out that there were problems. Firstly, with the translation. For example, in the original there were “How much” and “Request”, where “how much” is semantically correct and corresponds to the meaning of the task. But with direct translation into some languages, problems with understanding the question arose.
Secondly, it turned out that the scale from 1 to 5 is perceived differently in different countries. Some people are used to the idea that 1 means \”excellent\” (hypothetically corresponds to the first place on the podium), while in other places, 1 was understood to be less than unsatisfactory.
In the process, we stumbled upon a disturbing detail. If the phrasing changed to \”to address your problem\” instead of \”to solve your problem\”, meaning, a gerundial noun was used instead of a verb, this could lead to false positive responses, even if the problem technically wasn\’t solved.
CES 2.0
The team from CEB modified the question and derived the CES (customer effort score) 2.0, free from previous shortcomings. The new question was: \”Do you agree that the company has made it easy for you to solve your problem?\”. There are now seven possible responses instead of five. By the way, seven point scales are better than five and ten point scales; for instance, a five point scale doesn\’t allow for a \”five minus\”, and in a ten point scale it\’s unclear how to distinguish an \”eight\” from a \”nine\”.
Interestingly, neither CES 2.0 nor its predecessor CES have found widespread application in the field of customer service and customer experience management. Perhaps the PR for the indicator was insufficient or it proved too complex to be understood by company managements. There\’s a chance that the mere phrasing of the CES question triggers rejection, for example, from a customer experience director: “What do you mean, the company doesn\’t give the opportunity to solve the problem?” For him, that means that he either is not doing or poorly doing his job.
Important fact. It turns out that the change in customer loyalty is nonlinear. After reaching a rating of 5, for each additional point up to 7, loyalty increases by only 2%, whereas it can grow by 20% prior to the score of 5. Meaning that 5 is the threshold value, after which there should be an economic justification for whether to increase investment in solving customer problems or leave everything as it is. It might very well be that the increase in CES 2.0, for example, from 5 to 6, will consume so many resources that it will be unprofitable.
Prospects. From the author\’s point of view, the measurement of CES 2.0 should not negate the parallel measurement of NPS and satisfaction indicators. If under specific circumstances, correlations arise or, conversely, disappear between the indicators, it will be a good reason to pose questions to analytical departments.
CES 3.0
Following the use of CES (customer effort score) 2.0, it is not sufficiently informative to manage it. Example: suppose the value dropped (by the way, the indicator can be measured with IVR or bots in chats and messengers), we have 20 agent groups, two support lines, a product line of 1,000 products. We look at the drop and really need to dig in to find the cause, which, by the way, may not be one, but overlapping with another. Therefore, a multidimensional CES 3.0 is needed, which would be simultaneously measured for:
- Products or product groups
- Customer query content
- Agent groups
- Supervisors of agent groups (even the same people might perform differently under different supervisors)
- Ongoing marketing activities
Such multi-dimensionality will allow the new CES to quickly identify problems. However, it will require a new type of “smart” signaling instead of BI-panels and a multitude of indicators on dashboards, the automation should be able to provide pre-conclusions in text form: “During the promotion for product G 07.01.21, customers experienced the greatest difficulties with question Q in agent group №3 under supervisor S”.
At Oki-Toki, you can create an automatic customer survey script using any of our techniques, and the results can be saved in our internal CRM or pulled into AMOCRM, Bitrix24, or your own CRM via integrations. In addition to the metric mentioned, you can use automatic speech analytics and conversation evaluation forms to identify and rectify agent errors, which are also present in Oki-Toki.[:ru]
NPS, CSAT/CDSAT и CES
Предыстория. В 2010 году появился новый мощный инструмент для оценки клиентского опыта – индикатор клиентских усилий CES (Customer Effort Score). Он был изобретен консультантами фирмы CEB. Идея сводилась к тому, чтобы на основании ответа клиента на один единственный вопрос оценить вероятность повторных покупок. Красота замысла состояла в том, что вопрос должен быть именно один (известно, что с увеличением числа вопросов меньше клиентов доходит до конца анкеты). CES оказывался не просто индикатором, но и по своей природе позволял опрашивать максимальное число клиентов.
С точки зрения людей из CEB, ни индекс NPS, ни пара CSAT/CDSAT, ни любые модификации CSI не годились на роль предиктора лояльности (то есть готовности покупать или рекомендовать продукты компании). К тому времени, в июле 2010 года в “Harward Business Review” уже вышла статья под названием “Хватит восхищать ваших клиентов”, выводы из которой указывали на то, что корреляция между удовлетворенностью и лояльностью низкая.
Кстати, при внимательном рассмотрении это и логически очевидно, потому что лояльность бывает разная. Например, если нужно долететь на самолете в Норильск, а туда летает единственная авиакомпания, придется заплатить за билет, даже если он стоит как до Нью-Йорка. Ничего не поделаешь: вынужденная лояльность монополисту.
Из приведенных в статье цифр получалось, что 20% удовлетворенных клиентов собираются перестать делать покупки, а 28% неудовлетворенных – все равно продолжать покупать. И это означало правильность гипотезы о том, что показатели удовлетворенности (CSAT/CDSAT и CSI) не дают маркетинговым службам делать правильные выводы о дальнейшем клиентском поведении.
NPS как показатель лояльности оказался немногим лучше, но в силу внутренней дефективности и порочности тоже не сильно помогал. Почему NPS дефективный? В интернете есть довольно серьезная критика этого индикатора, но, чтобы не отклоняться от цели статьи, упомяну два основных дефекта:
- При одинаковых значениях NPS распределение детракторов, нейтралов и промоутеров может быть различным, то есть две разные по лояльности аудитории маркируются одинаковым числом.
- Значение NPS очень сильно зависит от того, сколько времени прошло после контакта клиента с компанией, то есть, от методики измерения.
Что придумали специалисты из CEB? Вопрос для измерения CES изначально формулировался так: “Сколько усилий вам понадобилось, чтобы решить вашу проблему?” и подразумевал один из пяти вариантов ответа, где 5 означало “очень много усилий”, а 1 – “совсем мало”.
Идея была хорошая и мысль правильная, но оказалось, что есть проблемы. Во-первых, с переводом. Например, в оригинале были “How much” и “Request”, где “how much” – семантически правильно и соответствует смыслу задачи. Но при прямом переводе на некоторые языки появились проблемы с понимаем вопроса.
Во-вторых, оказалось, что в разных странах шкала от 1 до 5 воспринимается неоднозначно. Где-то люди привыкли, что 1 означает “отлично” (условно-соответствует первому месту на пьедестале), а в других местах понимали 1 как кол, то есть ниже, чем неудовлетворительно.
Заодно всплыл нехороший момент. Если формулировка менялась на “для решения вашей проблемы” вместо “чтобы решить вашу проблему”, то есть, вместо глагола использовалось отглагольное существительное, это могло приводить к ложноположительным ответам, даже если проблема фактически не была решена.
CES 2.0
Люди из CEB модифицировали вопрос и получили показатель CES (customer effort score) 2.0, лишенный прежних недостатков. Новый вопрос звучал так: “Согласны ли вы c тем, что компания дала вам возможность легко решить проблему?”. Возможных вариантов ответа стало семь вместо пяти. Кстати, семибалльные шкалы лучше пяти- и десятибалльных: пятибалльная, например, не дает поставить “пятерку с минусом”, а в десятибалльной не очень понятно, как оценку “восемь” отличить от “девятки”.
Интересно, что ни CES 2.0, ни его предшественник CES не нашли массового применения в области клиентского сервиса и управления клиентским опытом. Возможно, в пиар индикатора было вложено недостаточно или он оказался сложным для понимания руководством компаний. Есть шансы, что чисто психологически формулировка вопроса CES провоцирует отторжение, например, у директора по клиентскому опыту: “как это, компания не дает возможность решить проблему?” Для него это означает, что он не делает или плохо делает его работу.
Важный факт. Оказалось, что изменение лояльности клиентов – нелинейное. После достижения оценки 5, на каждый следующий балл до 7 лояльность увеличивается только на 2%, в то время, как до оценки 5 рост может быть и 20%. То есть 5 – пороговое значение, после которого должно следовать экономическое обоснование, увеличивать ли вливание средств в решение клиентских проблем или оставить все как есть. Вполне может быть так, что прирост CES 2.0, например, с 5 до 6 поглотит столько ресурсов, что это окажется невыгодным.
Перспективы. С точки зрения автора, измерение CES 2.0 не должно отменять параллельное измерение NPS и показателей удовлетворенности. Если в конкретных условиях между индикаторами будут возникать или, наоборот, исчезать корреляции, это будет хороший повод задать вопросы аналитическим отделам.
CES 3.0
По итогам использования CES (customer effort score) 2.0 в существующем виде недостаточно информативен, чтобы осуществлять управление по нему. Пример: допустим, значение упало (кстати, показатель можно измерять с помощью IVR или ботов в чатах и мессенджерах), у нас 20 операторских групп, две линии поддержки, товарная линейка из 1.000 продуктов. Смотрим на падение и должны очень серьезно поковыряться, чтобы найти причину, которая, кстати, может быть не одна, а накладываться на другую. Поэтому нужен многомерный CES 3.0, который одновременно измерялся бы для:
- Товаров или товарных групп
- Содержания вопросов клиентов
- Операторских групп
- Супервайзеров операторских групп (у разных супервайзеров даже одни и те же люди могут работать по-разному)
- Проходящих маркетинговых активностей
Такая многомерность позволит с помощью нового CES быстро идентифицировать проблемы. Но при этом потребует “умной” сигнализации совершенно нового типа: вместо BI-панелей и множества индикаторов на дашбордах автоматика должна будет выдавать предзаключения текстом: “В ходе акции по товару G 07.01.21 наибольшие затруднения у клиентов по вопросу Q возникли в операторской группе №3 под управлением супервайзера S”.
У нас в Оки-Токи вы можете создать автоматический сценарий для опроса клиентов по любой из методик, а полученный результат сохранить во внутреннюю CRM или при помощи интеграций забрать в AMOCRM, Bitrix24 или свою CRM. В дополнение к описанной метрике вы можете использовать автоматическую речевую аналитику и анкеты оценки разговоров для поиска и устранения ошибок операторов, которые тоже есть в Оки-Токи.[:ua]
NPS, CSAT/CDSAT та CES
Передісторія. У 2010 році з\’явився новий потужний інструмент для оцінки клієнтського досвіду – індикатор клієнтських зусиль CES (Customer Effort Score). Він був винайдений консультантами фірми CEB. Ідея полягала в тому, щоб на основі відповіді клієнта на одне лише питання оцінити ймовірність повторних покупок. Краса концепції полягала в тому, що питання має бути лише одне (відомо, що збільшенням числа питань менше клієнтів доходить до кінця анкети). CES виявився не просто індикатором, але і за своєю природою дозволяв допитати максимальну кількість клієнтів.
З погляду людей з CEB, жоден індекс NPS, жодна пара CSAT/CDSAT, жодні модифікації CSI не підходили на роль предиктора лояльності (тобто готовності купувати або рекомендувати продукти компанії). Тоді, у липні 2010 року в “Harward Business Review” вже вийшла стаття під назвою “Досить захоплювати своїх клієнтів”, висновки з якої вказували на те, що кореляція між задоволенням і лояльністю низька.
До речі, при уважному розгляді це і логічно очевидно, адже лояльність буває різною. Наприклад, якщо потрібно долетіти на літаку в Норильськ, а туди літає одна авіакомпанія, доведеться заплатити за квиток, навіть якщо він коштує як до Нью-Йорка. Нічого не поробиш: вимушена лояльність монополісту.
З наведених в статті цифр випливало, що 20% задоволених клієнтів збираються припинити робити покупки, а 28% незадоволених – все одно продовжувати купувати. І це свідчило про правильність гіпотези про те, що показники задоволення (CSAT/CDSAT та CSI) не дозволяють маркетинговим службам робити правильні висновки про подальшу поведінку клієнта.
NPS як показник лояльності виявився трішки кращим, але через внутрішню дефективність і порочність також не дуже допомагав. Чому NPS дефектний? В Інтернеті є досить серйозна критика цього індикатора, але, щоб не відхилятися від мети статті, згадаю два основних дефекти:
- При однакових значеннях NPS розподіл детракторів, нейтралів і промоутерів може бути різним, тобто дві різні за лояльністю аудиторії маркуються однаковим числом.
- Значення NPS дуже сильно залежить від того, скільки часу пройшло після контакту клієнта з компанією, тобто, від методики вимірювання.
Що вигадали фахівці з CEB? Питання для вимірювання CES спочатку формулювалося так: “Скільки зусиль вам знадобилось, щоб вирішити вашу проблему?” і передбачало один з п\’яти варіантів відповіді, де 5 означало “дуже багато зусиль”, а 1 – “зовсім трішки”.
Ідея була хороша і правильна думка, але виявилося, що є проблеми. По-перше, із перекладом. Наприклад, в оригіналі були “How much” та “Request”, де “how much” – семантично правильно і відповідає змісту завдання. Але при прямому перекладі деякими мовами виникли проблеми з розумінням питання.
По-друге, виявилося, що в різних країнах шкала від 1 до 5 сприймається неоднозначно. Десь люди звикли, що 1 означає “чудово” (умовно-відповідає першому місцю на п\’єдесталі), а в інших місцях розуміли 1 як кол, тобто нижче, ніж незадовільно.
Заодно виявився негарний момент. Якщо формулювання змінювалося на “для вирішення вашої проблеми” замість “щоб вирішити вашу проблему”, тобто, замість дієслова використовувалось віддієслівний іменник, це могло призвести до хибнопозитивних відповідей, навіть якщо проблема фактично не була вирішена.
CES 2.0
Люди з CEB модифікували питання і отримали показник CES (customer effort score) 2.0, вільний від попередніх недоліків. Нове питання звучало так: “Чи погоджуєтеся ви з тим, що компанія надала вам можливість легко вирішити проблему?”. Можливих варіантів відповіді стало сім замість п\’яти. До речі, семибальні шкали кращі ніж п\’яти- та десятибальні: п\’ятибальна, наприклад, не дозволяє поставити “п\’ятірку з мінусом”, а в десятибальній не дуже зрозуміло, як оцінку “вісім” відрізнити від “дев\’ятки”.
Цікаво, що ані CES 2.0, ані його попередник CES не знайшли масового застосування в області клієнтського сервісу та управління клієнтським досвідом. Можливо, в PR індикатора було вкладено недостатньо або він виявився складним для розуміння керівництвом компаній. Є шанси, що чисто психологічно формулювання питання CES викликає відчуття відштовхування, наприклад, у директора з клієнтського досвіду: “як це, компанія не надає можливість вирішити проблему?” Для нього це означає, що він не робить або погано виконує свою роботу.
Важливий факт. Виявилося, що зміна лояльності клієнтів – нелінійна. Після досягнення оцінки 5 на кожний наступний бал до 7 лояльність збільшується лише на 2%, тоді як до оцінки 5 ріст може бути і 20%. Тобто, 5 – порогове значення, після якого має наступити економічне вмотивування, чи збільшувати вкладання коштів на рішення проблем клієнтів або залишити все як є. Цілком може бути так, що приріст CES 2.0, наприклад, з 5 до 6 поглине стільки ресурсів, що це виявиться неприбутковим.
Перспективи. З боку автора, вимірювання CES 2.0 не має скасовувати паралельне вимірювання NPS і показників задоволеності. Якщо в конкретних умовах між індикаторами будуть виникати або, навпаки, зникають кореляції, це буде хороший привід поставити питання аналітичним відділам.
CES 3.0
Підсумки використання CES (customer effort score) 2.0 у поточному вигляді недостатньо інформативні, щоб керувати ним. Приклад: припустимо, значення впало (до речі, показник можна вимірювати за допомогою IVR або ботів у чатах і месенджерах), у нас є 20 операторських груп, дві лінії підтримки, товарна лінійка з 1.000 продуктів. Дивимося на зниження і маємо серйозно поколупатися, щоб знайти причину, яка, до речі, може бути не одна, а накласти на іншу. Тому потрібний багатовимірний CES 3.0, який б одночасно вимірювався б для:
- Товарів або товарних груп
- Змісту питань клієнтів
- Операторських груп
- Супервайзерів операторських груп (у різних супервайзерів навіть одні і ті ж люди можуть працювати по-різному)
- Проведення маркетингових активностей
Така багатовимірність дозволить з допомогою нового CES швидко ідентифікувати проблеми. Але при цьому потребує “розумного” сигналізації зовсім нового типу: замість BI-панелей і багатьох індикаторів на дашбордах автоматика має віддавати попередні висновки текстом: “У ході акції по товару G 07.01.21 найбільші складнощі у клієнтів з питання Q виникли в операторській групі №3 під керівництвом супервайзера S”.
У нас в Окі-Токі ви можете створити автоматичний сценарій для опитування клієнтів за будь-якою з методик, а отриманий результат зберегти в внутрішню CRM або за допомогою інтеграцій забрати в AMOCRM, Bitrix24 або свою CRM. Додатково до описаної метрики ви можете використовувати автоматичну мовну аналітику і анкети оцінки розмов для пошуку та усунення помилок операторів, які також є в Окі-Токі.[:pl]
NPS, CSAT/CDSAT i CES
Historia. W 2010 roku pojawiło się nowe, potężne narzędzie do oceny doświadczenia klienta – wskaźnik wysiłku klienta CES (Customer Effort Score). Został on wymyślony przez konsultantów z firmy CEB. Koncepcja polegała na tym, aby na podstawie odpowiedzi klienta na jedno jedynie pytanie ocenić prawdopodobieństwo powtarzalności zakupów. Piękno pomysłu polegało na tym, że pytanie powinno być jedno (wiadomo, że im więcej pytań, tym mniej klientów dochodzi do końca ankiety). CES okazał się nie tylko wskaźnikiem, ale też ze względu na swoją naturę umożliwiał przeprowadzenie ankiety wśród maksymalnej liczby klientów.
Z punktu widzenia ludzi z CEB, ani wskaźnik NPS, ani para CSAT/CDSAT, ani żadne modyfikacje CSI nie nadawały się na miano predyktora lojalności (to jest gotowości do kupowania lub polecania produktów firmy). Do tamtego czasu, w lipcu 2010 roku, w \”Harvard Business Review\” już ukazał się artykuł zatytułowany \”Przestań zachwycać swoich klientów\”, którego wnioski wskazywały, że korelacja między zadowoleniem a lojalnością jest niska.
Zresztą, przy uważnym rozważeniu to jest logicznie oczywiste, bo lojalność bywa różna. Na przykład, jeśli trzeba polecieć samolotem do Norilsku, a tam lata tylko jedna linia lotnicza, będziemy musieli zapłacić za bilet, nawet jeśli kosztuje tyle, ile do Nowego Jorku. Nie ma co robić: wymuszona lojalność wobec monopolisty.
Z cyfr przedstawionych w artykule wynikało, że 20% zadowolonych klientów planuje przestać robić zakupy, a 28% niezadowolonych wciąż zamierza kupować. To potwierdzało prawidłowość hipotezy, że wskaźniki zadowolenia (CSAT/CDSAT i CSI) nie pozwalają działom marketingu na trafne wnioski o przyszłym zachowaniu klientów.
NPS jako miara lojalności okazał się nieznacznie lepszy, ale z powodu wewnętrznej defektywności i wadliwości również nie pomagał dużo. Dlaczego NPS jest wadliwy? W internecie jest dość mocna krytyka tego wskaźnika, ale aby nie odbiegać od celu artykułu, wspomnę o dwóch głównych defektach:
- Przy tych samych wartościach NPS, rozkład detraktorów, neutralnych i promotorów może być różny, to znaczy, że dwie różne pod względem lojalności marki są oznaczane tym samym numerem.
- Wartość NPS bardzo zależy od tego, ile czasu upłynęło od kontaktu klienta z firmą, czyli od metodyki pomiaru.
Co wymyślili specjaliści z CEB? Pytanie do pomiaru CES było pierwotnie sformułowane następująco: \”Ile wysiłku musiałeś włożyć, aby rozwiązać swój problem?\” i zakładało jeden z pięciu możliwych odpowiedzi, gdzie 5 oznaczało \”dużo wysiłku\”, a 1 – \”bardzo mało\”.
Pomysł był dobry i myśl słuszna, ale okazało się, że są problemy. Po pierwsze z tłumaczeniem. Przykładowo w oryginale było „Ile” i „Prośba”, gdzie „ile” jest semantycznie poprawne i odpowiada znaczeniu zadania. Jednak przy bezpośrednim tłumaczeniu na niektóre języki pojawiły się problemy ze zrozumieniem pytania.
Po drugie, okazało się, że skala od 1 do 5 jest różnie odbierana w różnych krajach. Gdzieś ludzie przyzwyczajili się, że 1 oznacza \”świetnie\” (symbolicznie odpowiada pierwszemu miejscu na podium), a w innych miejscach 1 rozumiano jako kij, czyli poniżej, niż niesatysfakcjonująco.
W międzyczasie pojawił się nieprzyjemny moment. Jeśli formułowanie zmieniło się na \”do rozwiązania twojego problemu\” zamiast \”aby rozwiązać twój problem\”, to jest, zamiast użycia czasownika, używano rzeczownika pochodzącego od czasownika, to mogło prowadzić do fałszywie dodatnich odpowiedzi, nawet jeśli problem w rzeczywistości nie był rozwiązany.
CES 2.0
Ludzie z CEB zmodyfikowali pytanie i otrzymali wskaźnik CES (customer effort score) 2.0, pozbawiony dotychczasowych niedoskonałości. Nowe pytanie brzmiało: „Czy zgadzasz się z tym, że firma umożliwiła Ci łatwe rozwiązanie problemu?”. Możliwych odpowiedzi było teraz siedem zamiast pięciu. Nawiasem mówiąc, siedmiopunktowe skale są lepsze niż pięcio- i dziesięciopunktowe: pięciopunktowa nie pozwala na „piątkę z minusem”, a w dziesięciopunktowej nie jest zbyt jasne, jak rozróżnić \’osiem\’ od \’dziewięć\’.
Co ciekawe, ani CES 2.0, ani jego poprzednik CES nie znalazły masowego zastosowania w obszarze obsługi klienta i zarządzania doświadczeniem klienta. Możliwe, że w promocję wskaźnika zostało zainwestowane zbyt mało albo był on zbyt skomplikowany dla kierownictwa firm. Istnieje szansa, że sama formułka pytania CES wywołuje odrzut, na przykład u dyrektora doświadczeń klienta: „jak to, firma nie oferuje rozwiązania problemu?” Dla niego oznacza to, że nie robi lub źle wykonuje swoją pracę.
Istotny fakt. Okazało się, że zmiana lojalności klientów jest nieliniowa. Po osiągnięciu oceny 5, każdy kolejny punkt do 7 zwiększa lojalność tylko o 2%, podczas gdy przed osiągnięciem oceny 5, wzrost może wynieść nawet 20%. Czyli 5 jest wartością progową, po której powinny nastąpić ekonomiczne uzasadnienie, czy zwiększyć alokację środków na rozwiązanie problemów klientów, czy pozostawić wszystko tak, jak jest. Istnieje prawdopodobieństwo, że przyrost CES 2.0, na przykład z 5 do 6, zużyje tak wiele zasobów, że okaże się to nieopłacalne.
Perspektywy. Z punktu widzenia autora, pomiar CES 2.0 nie powinien eliminować równoległego pomiaru NPS i wskaźników satysfakcji. Jeśli w konkretnych warunkach między wskaźnikami pojawią się lub, wręcz przeciwnie, znikną korelacje, będzie to dobry powód do zadania pytań działom analitycznym.
CES 3.0
W rezultacie użycia CES (customer effort score) 2.0, w formie, tak jak jest teraz, nie daje wystarczająco informacji, żeby zarządzać na podstawie niego. Przykład: załóżmy, że wartość spada (notabene, wskaźnik można mierzyć za pomocą IVR lub botów w czatach i messengerach), mamy 20 grup operatorów, dwie linie wsparcia, gamę produktów z 1.000 produktów. Patrzymy na spadek i musimy bardzo poważnie pokopać, żeby znaleźć przyczynę, którą, zresztą, może nie być jedna, a nakładać się na inną. Dlatego potrzebny jest wielowymiarowy CES 3.0, który byłby mierzony jednocześnie dla:
- Produktów lub grup produktów
- Treści pytań klientów
- Grupy operatorów
- Nadzorców grup operatorów (nawet te same osoby mogą pracować inaczej pod kierownictwem różnych nadzorców)
- Trwających działań marketingowych
Taka wielowymiarowość pozwoli szybko identyfikować problemy za pomocą nowego CES. Ale zarazem wymaga \”inteligentnej\” sygnalizacji całkiem nowego typu: zamiast paneli BI i wielu wskaźników na dashboardach, automatyka powinna dostarczać wnioski tekstowe: \”Podczas akcji na produkt G 07.01.21 największe trudności klientów dotyczące pytania Q pojawiły się w grupie operatorów nr 3 pod kierownictwem nadzorcy S\”.
U nas w Oki-Toki możesz stworzyć automatyczny scenariusz badania klientów za pomocą dowolnej metodyki, a uzyskane wyniki zapisać w wbudowanym CRM lub pobrać do AMOCRM, Bitrix24 lub Twojego CRM za pomocą integracji. Oprócz opisanej metryki możesz użyć automatycznej analizy mowy oraz ankiet oceny rozmów w celu wyszukania i eliminacji błędów operatorów, które również są dostępne w Oki-Toki.[:es]
NPS, CSAT/CDSAT y CES
Antecedentes. En 2010, apareció una nueva y poderosa herramienta para evaluar la experiencia del cliente: el indicador de esfuerzo del cliente CES (Customer Effort Score). Fue inventado por consultores de la firma CEB. La idea se basaba en evaluar la probabilidad de futuras compras a partir de la respuesta del cliente a una única pregunta. La belleza del concepto radicaba en que la pregunta debía ser única (ya que se sabe que a medida que aumenta el número de preguntas, menos clientes completan la encuesta). CES no era simplemente un indicador, sino que por su naturaleza permitía encuestar al máximo número de clientes.
Desde el punto de vista de la gente de CEB, ni el índice NPS, ni el par CSAT/CDSAT, ni ninguna modificación de CSI eran adecuados como predictor de lealtad (es decir, la disposición para comprar o recomendar productos de la empresa). Para ese entonces, en julio de 2010, ya se había publicado un artículo en \”Harvard Business Review\” titulado \”Deja de deleitar a tus clientes\”, cuyas conclusiones indicaban que la correlación entre satisfacción y lealtad era baja. Por cierto, al observarlo detenidamente esto es también lógicamente obvio, porque la lealtad puede variar.
Por ejemplo, si necesitas volar en avión a Norilsk y solo hay una aerolínea que vuela allí, tendrás que pagar por el boleto, incluso si cuesta lo mismo que volar a Nueva York. No se puede hacer nada al respecto: lealtad forzada al monopolista. De los números presentados en el artículo, resultó que el 20% de los clientes satisfechos planeaban dejar de hacer compras, mientras que el 28% de los insatisfechos continuarían comprando de todos modos.
Y esto confirmaba la hipótesis de que los indicadores de satisfacción (CSAT/CDSAT y CSI) no permiten a los departamentos de marketing hacer conclusiones correctas sobre el comportamiento futuro de los clientes.
NPS como indicador de lealtad resultó ser ligeramente mejor, pero debido a su ineficiencia intrínseca y fallos también fue de poca ayuda. ¿Por qué es defectuoso el NPS? Hay críticas bastante serias de este indicador en internet, pero, para no desviarnos del propósito del artículo, mencionaré dos defectos principales:
- Con los mismos valores de NPS, la distribución de detractores, neutrales y promotores puede ser diferente, es decir, dos audiencias de diferente lealtad se marcan con el mismo número.
- El valor de NPS depende mucho del tiempo que haya pasado desde el último contacto del cliente con la empresa, es decir, de la metodología de medición.
¿Qué inventaron los especialistas de CEB? La pregunta para medir CES inicialmente se formulaba así: “¿Cuánto esfuerzo necesitó para resolver su problema?”, y ofrecía cinco opciones de respuesta, donde 5 significaba “mucho esfuerzo”, y 1 – “muy poco esfuerzo”.
La idea era buena y el pensamiento correcto, pero resultó que había problemas. En primer lugar, con la traducción. Por ejemplo, en el original había \”Cuánto\” y \”Solicitud\”, donde \”cuánto\” es semánticamente correcto y corresponde al significado de la tarea. Pero con la traducción directa a algunos idiomas surgieron problemas para comprender la pregunta.
En segundo lugar, resultó que en diferentes países, la escala de 1 a 5 se percibe de manera ambigua. En algunas partes, la gente está acostumbrada a que 1 signifique “excelente” (condicionalmente, igual al primer lugar en el podio), mientras que en otros lugares entendían 1 como el peor, es decir, por debajo de insatisfactorio. Además, surgió un punto desagradable.
Si la formulación cambiaba a “para resolver su problema” en lugar de “para resolver su problema”, es decir, se utilizaba un sustantivo de gerundio en lugar de un verbo, esto podía llevar a respuestas falsamente positivas, incluso si el problema no había sido realmente resuelto.
CES 2.0
La gente de CEB modificó la pregunta y obtuvo el indicador CES (customer effort score) 2.0, libre de los defectos anteriores. La nueva pregunta era: “¿Está de acuerdo en que la empresa le facilitó la resolución de su problema?”. El número de opciones de respuesta aumentó a siete en lugar de cinco. Curiosamente, las escalas de siete puntos son mejores que las de cinco y diez: por ejemplo, la de cinco puntos no permite poner un “cinco menos”, y en la de diez puntos no está muy claro cómo diferenciar un “ocho” de un “nueve”.
Es interesante que ni CES 2.0 ni su predecesor CES encontraron una aplicación masiva en el ámbito del servicio al cliente y la gestión de la experiencia del cliente. Posiblemente, no se invirtió lo suficiente en su promoción o resultó ser demasiado complejo para que las empresas lo comprendieran.
Hay chances de que psicológicamente, la formulación de la pregunta CES provoque rechazo, por ejemplo, para un director de experiencia del cliente: “¿cómo que la empresa no permite resolver el problema?” Para él, esto significa que no está haciendo bien su trabajo o no lo está haciendo en sola.
En términos de perspectivas, según el autor, la medición de CES 2.0 no debe reemplazar la medición paralela de NPS y los indicadores de satisfacción. Si en condiciones específicas surgen o desaparecen correlaciones entre los indicadores, eso sería un buen motivo para hacer preguntas a los departamentos de análisis.
CES 3.0
Como resultado del uso de CES (customer effort score) 2.0 en su forma actual, no es suficientemente informativo para gestionarlo. Ejemplo: digamos que el valor cae (por cierto, el indicador se puede medir con IVR o bots en chats y mensajeros), tenemos 20 grupos de operadores, dos líneas de soporte, y una línea de productos de 1.000 productos. Miramos la caída y tenemos que escarbar seriamente para encontrar la causa, que, por cierto, puede no ser solo una, sino superponerse a otra. Por lo tanto, se necesita un CES 3.0 multidimensional que se mediría simultáneamente para:
- Productos o grupos de productos
- El contenido de las preguntas de los clientes
- Grupos de agentes
- Supervisores de grupos de agentes (personas diferentes pueden trabajar de manera diferente bajo distintos supervisores)
- Actividades de marketing en curso
Tal multidimensionalidad permitirá identificar rápidamente los problemas con el nuevo CES.
Pero, al mismo tiempo, requerirá una señalización \”inteligente\” de un tipo completamente nuevo: en lugar de paneles BI y muchos indicadores en dashboards, la automatización tendría que entregar pre conclusiones en texto: “Durante la promoción del producto G en 07.01.21, los mayores problemas para los clientes surgieron en el grupo de agentes n.º 3 bajo la supervisión del supervisor S”.
En Oki-Toki puedes crear un script automático para encuestas a clientes usando cualquiera de las metodologías, y guardar los resultados obtenidos en el CRM interna o recogerlos en AMOCRM, Bitrix24 o tu propio CRM mediante integraciones.
Además de la métrica descrita, puedes utilizar análisis automático de voz y encuestas de evaluación de llamadas para encontrar y corregir los errores de los agentes, que también están disponibles en Oki-Toki.[:tr]
NPS, CSAT/CDSAT ve CES
Giriş. 2010 yılında, müşteri deneyimini değerlendirmek için güçlü bir araç ortaya çıktı – müşteri çaba skoru CES (Customer Effort Score). CEB firmasının danışmanları tarafından icat edilmişti. Fikir, müşterinin tek bir soruya verdiği yanıt üzerinden tekrar satın alma olasılığını değerlendirmekti. Tasarımın güzelliği, sorunun yalnızca bir tane olmasıydı (bilindiği üzere, soru sayısı arttıkça anketi tamamlayan müşteri sayısı azalır). CES sadece bir gösterge olmakla kalmıyor, aynı zamanda mümkün olan en fazla müşteriyi sorgulama imkanı sunuyordu.
CEB\’dekilerin bakış açısına göre, NPS endeksi, CSAT/CDSAT ikilisi, ya da CSI\’nin modifikasyonları, sadakat tahmincisi (yani firmanın ürünlerini satın alma ya da tavsiye etme hazırlığı) rolüne uygun değildi. O zamana, 2010 Temmuz\’unda \”Harward Business Review\” dergisinde \”Müşterilerinizi Hayran Bırakmayı Bırakın\” başlıklı bir makale yayınlanmıştı ve bu makalenin sonuçları, memnuniyet ile sadakat arasındaki korelasyonun düşük olduğunu belirtiyordu.
Ayrıca, dikkatlice incelendiğinde bu, mantıken de açıktır çünkü sadakat çeşitli şekillerde olabilir.
Örneğin, Norilsk\’e uçakla gitmeniz gerekiyorsa ve oraya uçan tek havayolu şirketi varsa, bilete, New York\’a gitse bile ödeme yapmak zorundasınızdır. Ancak yapacak bir şey yok: monopolcüye zorunlu sadakat. Makalede verilen rakamlara göre, %20 memnun müşteri alışverişi bırakmayı düşünüyor, %28 memnun olmayan müşteri ise yine de alışverişe devam etmeyi düşünüyor.
Bu, memnuniyet göstergelerinin (CSAT/CDSAT ve CSI) pazarlama departmanlarının müşteri davranışları hakkında doğru sonuçlar çıkarmalarına olanak tanımadığını gösteren hipotezin doğruluğunu gösteriyordu.NPS, sadakat göstergesi olarak biraz daha iyiydi, ancak içsel kusurları ve bozukluğu nedeniyle de çok yardımcı olmuyordu. NPS neden kusurlu? Bu göstergenin internet üzerinde ciddi eleştirileri var ancak, makalenin amacından sapmamak için, iki ana kusurunu anacağım:
- Aynı NPS değerlerine rağmen, detraktörlerin, nötrlerin ve promotörlerin dağılımı farklı olabilir, yani iki farklı sadakat düzeyine sahip kitle aynı sayıyla işaretlenir.
- NPS değeri, müşterinin şirketle temasından sonra ne kadar zaman geçtiğine, yani ölçüm metoduna çok bağlıdır.
CEB\’den uzmanlar ne buldu? CES ölçümü için ilk soru şöyle formüle edilmişti: \”Sorununuzu çözmek için ne kadar çaba sarf ettiniz?\” ve beş yanıt seçeneğinden birini içeriyordu, burada 5 \”çok fazla çaba\” anlamına gelirken, 1 \”hiç çaba\” anlamına geliyordu.
Fikir iyiydi ve düşünce doğruydu ama sorunların olduğu ortaya çıktı. Öncelikle çeviriyle. Örneğin, orijinalde \”Ne kadar\” ve \”İstek\” vardı; burada \”ne kadar\” anlamsal olarak doğrudur ve görevin anlamına karşılık gelir. Ancak bazı dillere doğrudan çeviri yapıldığında sorunun anlaşılmasında sorunlar ortaya çıktı.
Ifadesi biraz tuhaf geliyor. Tabii ki, Rusça yalnızca bununla ilgili sorun yaşanan dil olmadı.İkinci olarak, farklı ülkelerde 1\’den 5\’e kadar olan ölçek çok anlamlı algılanamıyor. Bazı yerlerde insanlar 1\’in \”mükemmel\” anlamına geldiğine (koşullu olarak podyumun ilk sırasına karşılık gelir), diğer yerlerde ise 1\’in, yetersizden bile düşük olduğu bir direk olduğunu anlıyorlar. Aynı zamanda, kötü bir durum da ortaya çıktı. Soru, \”sorununuzu çözmek için\” yerine \”sorununuzun çözümü için\” şeklinde, yani fiilden isim kullanılarak değiştirildiğinde, sorun gerçekte çözülmemiş olsa bile, yanıltıcı pozitif yanıtlara yol açabiliyordu.
CES 2.0
CEB\’den insanlar soruyu değiştirerek CES (müşteri çaba skoru) 2.0 göstergesini, önceki eksikliklerden arındıran bir hale getirdiler. Yeni soru şöyleydi: \”Şirketin, sorunu çözme konusunda size kolaylık sağladığını düşünüyor musunuz?\”. Olası yanıt seçenekleri beş yerine yediye çıktı. Bu arada, yedi puanlık ölçekler, beş ve on puanlık ölçeklerden daha iyidir: örneğin, beş puanlık ölçek \”beş eksi\” koymaya imkan vermez, on puanlıkta ise \”sekiz\” ile \”dokuz\” arasındaki farkı anlamak pek kolay değildir.İlginç olan, ne CES 2.0 ne de öncüsü CES, müşteri hizmetleri ve müşteri deneyimi yönetimi alanında yaygın kullanım bulamadı. Belki de göstergeye yeterince PR yapılmamıştı ya da şirket yöneticileri tarafından anlaşılması zordu. Ayrıca, müşteri deneyimi yöneticisi gibi, psikolojik olarak CES sorusunun formulasyonu ret hissine neden olabilir: \”ne demek, şirket sorunu çözme olanağı sağlamıyor?\” Bu, onun işini yapmadığı veya kötü yaptığı anlamına gelir.
Önemli bir gerçek. Müşteri sadakatindeki değişimin doğrusal olmadığı ortaya çıktı. 5 puanlık bir değerlendirmeye ulaşıldığında, her bir sonraki puan için sadakat yalnızca %2 artarken, 5 puanlık bir değerlendirme için büyüme %20 olabilir. Yani 5, bundan sonra ekonomik bir gerekçenin takip etmesi gereken bir eşik değeri, yani müşteri sorunlarının çözümüne daha fazla para yatırmak veya her şeyi olduğu gibi bırakmak mı gerektiği. CES 2.0\’nin, örneğin, 5\’ten 6\’ya artması o kadar çok kaynağı tüketebilir ki, bu karlı olmayabilir.Perspektifler. Yazarın görüşüne göre, CES 2.0 ölçümü, NPS ve memnuniyet göstergelerinin paralel ölçümünü iptal etmemelidir. Belirli koşullar altında, göstergeler arasında korelasyonlar oluşursa veya aksine kaybolursa, bu, analitik departmanlara sorular sormak için iyi bir neden olacaktır.
CES 3.0
CES (müşteri çaba skoru) 2.0\’ın mevcut halini kullanarak elde edilen sonuçlar yeterli bilgi sağlamadığı için yönetim için yetersiz kalıyor. Örnek: Diyelim ki, değer düştü (bu arada, göstergeyi IVR veya chatbotlar ve mesajlaşma uygulamaları aracılığıyla ölçmek mümkün), 20 agent grubumuz, iki destek hattımız, 1.000 üründen oluşan bir ürün yelpazemiz var.
Düşüşe bakıyoruz ve nedeni bulmak için ciddi bir şekilde uğraşmalıyız, bu arada neden yalnızca bir tane olmayabilir, birbiri üzerine binen başka nedenler de olabilir. Bu yüzden aşağıdakiler için aynı anda ölçülecek çok boyutlu bir CES 3.0\’a ihtiyaç var:
- Ürünler veya ürün grupları için
- Müşteri sorularının içeriği için
- Agent grupları için
- Agent gruplarının supervizörleri için (farklı supervizörler altında aynı insanlar bile farklı çalışabilir)
- Yürütülen pazarlama aktiviteleri için
Bu tür çok boyutluluk, yeni CES\’in problemleri hızla tanımlamasına izin verecektir. Ancak bu, tamamen yeni bir tür \”akıllı\” uyarı sistemini gerektirecektir: BI panelleri ve gösterge tablolarındaki birçok gösterge yerine, otomasyon metin olarak önyargılar sunacaktır: \”G 07.01.21 ürün promosyonu sırasında, müşterilerin Q sorunuyla ilgili en büyük zorluklar, S supervizörünün yönetimindeki 3 numaralı agent grubunda yaşandı.\”
Oki-toki\’ de müşteri anketleri için otomatik bir script oluşturabilir ve elde edilen sonuçları dahili CRM\’inize kaydedebilir veya AMOCRM, Bitrix24 ya da kendi CRM\’inize entegre edebilirsiniz. Açıklanan metriği kullanmanın yanı sıra, otomatik ses analizi ve görüşme değerlendirme anketlerinizi kullanarak agent hatalarını bulup düzeltmek de mümkündür, bunlar da Oki-toki\’de mevcut.[:]