Исследование удовлетворённости почти всегда содержит две части: общую оценку («насколько вы довольны компанией в целом») и оценки отдельных аспектов — скорости, вежливости персонала, ассортимента, цен, удобства сайта. Возникает естественный вопрос: какие из этих аспектов определяют общее отношение, а какие на него почти не влияют? Ответ на него задаёт приоритеты для улучшений и бюджета.
Можно спросить клиентов напрямую, что для них важнее. Но, как и в других областях, заявленная важность часто расходится с реальной. Клиенты называют важной цену, хотя их общая оценка сильнее связана с тем, как решаются проблемы. Регрессионный анализ драйверов вычисляет так называемую производную важность — насколько изменение оценки конкретного аспекта связано с изменением общей удовлетворённости.
Ниже разберём, как устроен такой анализ, что нужно учесть при подготовке анкеты, как читать результаты и почему модель — это начало разговора о приоритетах, а не его конец.
Логика метода на простом примере
Регрессия описывает, как одна переменная (зависимая — общая удовлетворённость) связана с несколькими другими (независимыми — оценками аспектов). Модель подбирает коэффициенты так, чтобы по оценкам аспектов как можно точнее предсказать общую оценку.
Условный пример для сети автосервисов. В анкете общая оценка и оценки по шести аспектам. Модель показывает, что при росте оценки «честность в расчёте стоимости» на один балл общая удовлетворённость в среднем растёт на 0,35 балла, а при росте оценки «комфорт зоны ожидания» — лишь на 0,05 балла. Значит, первое — сильный драйвер, второе — слабый, даже если клиенты на словах называют комфорт важным.
Регрессия показывает связь, а не доказывает причинность. Высокий коэффициент означает, что аспект тесно связан с общей оценкой в данных опроса. Вывод «улучшим аспект — вырастет удовлетворённость» правдоподобен, но требует проверки на практике.
Заявленная и производная важность
Сопоставление двух видов важности — один из самых полезных результатов исследования.
| Высокая производная важность | Низкая производная важность | |
|---|---|---|
| Высокая заявленная важность | Ключевые требования: клиенты и говорят о них, и реагируют на них | Базовые ожидания: важны на словах, но заметны только при провале |
| Низкая заявленная важность | Скрытые драйверы: клиенты их не называют, но они формируют отношение | Второстепенные аспекты: можно не вкладываться сверх необходимого |
Особый интерес представляют скрытые драйверы. Например, в исследовании условной управляющей компании жильцы назвали главным стоимость услуг, но модель показала, что общая оценка сильнее всего связана с тем, информируют ли их о плановых работах. Это недорогое улучшение с заметным эффектом.
Подготовка анкеты под анализ драйверов
Модель будет настолько хороша, насколько продуманы вопросы. Несколько рекомендаций:
- Одинаковые шкалы. Общая оценка и оценки аспектов задаются по одной шкале — например, от 1 до 10. Это упрощает интерпретацию коэффициентов.
- Полнота списка аспектов. Если важный аспект не включён в анкету, модель его не найдёт, а его влияние «размажется» по другим. Список стоит составлять по итогам качественного этапа или анализа жалоб.
- Конкретность формулировок. «Сотрудники объясняют, что будет сделано и сколько это стоит» лучше, чем «качество обслуживания».
- Порядок вопросов. Общую оценку обычно задают до оценок аспектов, чтобы детальные вопросы не влияли на неё.
- Вариант «не пользовался». Аспекты, с которыми клиент не сталкивался, он оценить не может, и вынужденные ответы засоряют модель.
Общие принципы построения таких опросов разобраны в статье об исследовании удовлетворённости клиентов.
Главная техническая проблема — мультиколлинеарность
Оценки аспектов почти всегда связаны между собой. Довольный клиент ставит высокие оценки по многим пунктам, недовольный — низкие. В статистике это называется мультиколлинеарностью, и она серьёзно мешает классической регрессии.
Последствия выглядят так: коэффициенты становятся неустойчивыми, важный аспект может получить незначимый или даже отрицательный коэффициент только потому, что его влияние «забрал» соседний, тесно связанный аспект. Менеджер видит, что «вежливость персонала не влияет на удовлетворённость», и принимает неверное решение.
Как с этим справляются
- Укрупнение аспектов. Тесно связанные утверждения объединяют в блоки с помощью факторного анализа и строят модель на блоках.
- Методы относительной важности. Специальные подходы распределяют объяснённую моделью вариацию между переменными, усредняя вклад по всем возможным комбинациям. Они устойчивее к взаимосвязям и не дают отрицательных значений.
- Регуляризованные модели. Методы, которые «штрафуют» за избыточные коэффициенты и делают оценки стабильнее.
- Проверка здравым смыслом. Если результат противоречит логике и качественным данным, его нужно перепроверить, а не публиковать как открытие.
Как читать результаты модели
Помимо коэффициентов, на что смотреть в первую очередь:
Объяснённая доля
Какую часть различий в общей оценке объясняют аспекты. Если меньше трети, значит, в анкете не хватает важных факторов или общая оценка определяется чем-то другим — например, ценой или привычкой.
Относительный вклад
Удобнее всего представлять результаты в процентах: аспект А даёт четверть объяснённого влияния, аспект Б — пятую часть. Так их легче сравнивать между собой.
Устойчивость
Повторяется ли картина в разных сегментах и волнах. Драйвер, который проявляется только в одной подгруппе, требует отдельного изучения.
Стоит также строить модели отдельно для ключевых сегментов. Для новых клиентов главным драйвером может оказаться простота подключения, для давних — стабильность и признание их статуса. Единая модель усредняет эти различия.
Матрица приоритетов: от модели к плану действий
Самый популярный способ представления результатов — матрица, где по одной оси откладывается важность аспекта (производная), по другой — текущая оценка компании по этому аспекту. Получаются четыре квадранта.
- Высокая важность, низкая оценка — зона приоритетных улучшений. Сюда направляются основные ресурсы: именно эти аспекты сильнее всего тянут общую удовлетворённость вниз.
- Высокая важность, высокая оценка — сильные стороны. Их нужно удерживать и использовать в коммуникации, а не экономить на них.
- Низкая важность, низкая оценка — второстепенные недочёты. Исправлять по возможности, но без крупных вложений.
- Низкая важность, высокая оценка — возможный избыток. Здесь компания, вероятно, вкладывает больше, чем требуется, и ресурсы можно перераспределить.
Для лучшего понимания добавляют сравнение с конкурентами: аспект в зоне улучшений, по которому конкуренты тоже слабы, — шанс выделиться; аспект, где компания отстаёт от рынка, — угроза.
Драйверы лояльности и рекомендации
Ту же логику можно применять не только к удовлетворённости. Зависимой переменной может быть намерение рекомендовать, готовность продлить договор, вероятность повторной покупки. Интересно, что драйверы у этих показателей нередко различаются. Удовлетворённость сильнее связана с базовыми аспектами — скоростью, отсутствием ошибок, понятностью условий. Готовность рекомендовать чаще определяется тем, что выходит за рамки ожиданий: проактивной помощью, вниманием к деталям, ощущением, что компания «на стороне клиента».
Поэтому, если компания отслеживает индекс рекомендации, стоит строить для него отдельную модель, а не переносить выводы с удовлетворённости. При этом для бинарных показателей — например, «продлил договор или нет» — используется логистическая регрессия, которая оценивает не прирост балла, а изменение вероятности события.
Как проверить, что улучшения сработали
Модель драйверов становится по-настоящему ценной в динамике. Если по итогам первой волны компания выбрала два приоритетных аспекта и провела изменения, следующая волна покажет, выросли ли оценки по этим аспектам и сдвинулась ли общая удовлетворённость. Если аспекты улучшились, а общая оценка нет, значит, модель упускает какой-то важный фактор или изменения ещё не дошли до большинства клиентов.
Полезно также сопоставлять результаты опроса с операционными данными: временем обработки обращений, долей повторных визитов, числом жалоб. Совпадение направлений изменений подтверждает выводы модели и повышает доверие к ней внутри компании. Такие повторяющиеся замеры удобно организовать в формате трекингового исследования.
Типичные ошибки интерпретации
- Принимать отрицательный коэффициент за «вредный» аспект, хотя это почти всегда артефакт мультиколлинеарности.
- Делать выводы по модели, которая объясняет малую часть вариации общей оценки.
- Строить модель на маленькой выборке с большим количеством аспектов — коэффициенты будут случайными. Ориентир — не меньше двадцати наблюдений на переменную.
- Считать низкую производную важность разрешением ухудшить аспект: базовые ожидания не влияют на оценку, пока соблюдаются, но провал по ним резко её обрушивает.
- Игнорировать нелинейность: некоторые аспекты влияют только при очень низких оценках, другие — только при очень высоких.
Практические выводы
Анализ драйверов полезен, когда у компании ограничены ресурсы на улучшения и нужно выбрать, куда их направить. Чтобы он дал практический результат:
- составьте список аспектов по итогам качественного этапа, чтобы не пропустить скрытые факторы;
- используйте одну шкалу и задавайте общую оценку перед детальными;
- учитывайте взаимосвязь аспектов и выбирайте устойчивые методы оценки важности;
- сравнивайте производную важность с заявленной — расхождения часто самые интересные;
- стройте модели по ключевым сегментам, а не только по выборке в целом;
- переводите результаты в матрицу приоритетов и конкретные мероприятия с ответственными.
Регрессионная модель не заменяет управленческое суждение, но делает его обоснованным. Вместо споров о том, что важнее для клиента, команда получает общую карту приоритетов — и может проверить в следующей волне исследования, сработали ли выбранные улучшения.
Нужна помощь с исследованием? Специалисты NRay проведут исследование под вашу задачу — от постановки целей до презентации результатов. Оставьте заявку или напишите на [email protected].