NRayМаркетинговые исследования
Главная  /  Блог  /  Методология

Как читать аналитический отчёт исследования и не упустить главное

Методология≈ 7 мин чтения
Как читать аналитический отчёт исследования и не упустить главное

Исследование завершено, на почту приходит отчёт: десятки слайдов, графики, таблицы, сноски мелким шрифтом. У руководителя есть полчаса до совещания, и за это время нужно понять, что делать дальше. Неудивительно, что многие ограничиваются резюме на первых страницах, а остальное откладывают «на потом», которое не наступает.

Между тем в отчёте почти всегда есть информация, которая не попала в резюме, но может изменить решение: ограничения выборки, неожиданные различия между сегментами, оговорки о надёжности отдельных цифр. Умение быстро находить такие места отличает заказчика, который получает от исследования реальную пользу, от того, кто просто коллекционирует презентации.

В этой статье — практический порядок чтения отчёта, список вопросов, которые стоит себе задать, и типичные ловушки интерпретации.

С чего начинать: не с графиков

Естественное желание — сразу перейти к результатам. Но прежде чем смотреть на цифры, нужно понять, откуда они взялись. Без этого любой график можно прочитать неверно.

Начните с методического раздела, который обычно находится в начале или в конце отчёта. Он отвечает на четыре ключевых вопроса:

  • Кого опрашивали? Целевая аудитория и критерии отбора. Например, «покупатели категории за последние три месяца» и «все жители города» — разные генеральные совокупности, и выводы по ним нельзя смешивать.
  • Сколько опросили? Общий объём выборки и размеры ключевых подгрупп.
  • Как опрашивали? Метод сбора данных: онлайн, телефон, личное интервью. Метод влияет на то, кто в итоге попадает в выборку.
  • Где и когда? География и период полевых работ. Если опрос пришёлся на сезонный пик или совпал с заметным событием на рынке, это нужно учитывать.

Хороший признак качественного отчёта — честный раздел об ограничениях. Если подрядчик прямо пишет, какие выводы нельзя распространять на всю аудиторию и где выборка недостаточна, этому отчёту можно доверять больше, чем тому, где ограничений «нет».

Рекомендуемый порядок чтения

  1. Цели и задачи исследования. Освежите в памяти, на какие вопросы должен был ответить проект. Это фильтр, через который стоит пропускать всё остальное.
  2. Методика и выборка. Убедитесь, что опрошены нужные люди в достаточном количестве.
  3. Резюме. Прочитайте ключевые выводы и отметьте, на какие исходные вопросы они отвечают, а на какие — нет.
  4. Основные разделы. Проверьте, подтверждаются ли выводы резюме данными, и поищите то, что в резюме не вошло.
  5. Сегменты и различия. Посмотрите, как результаты различаются по группам: возрасту, региону, типу клиента, частоте покупки.
  6. Приложения. Анкета, таблицы с базами, открытые ответы. Здесь часто прячутся важные детали.

Такой порядок занимает чуть больше времени, чем пролистывание резюме, но позволяет за час составить собственное мнение о результатах, а не полагаться только на интерпретацию подрядчика.

База — самое важное число на любом слайде

Под каждым графиком в профессиональном отчёте указана база — количество респондентов, ответивших на вопрос. На эту маленькую цифру смотрят реже всего, хотя именно она определяет, насколько можно доверять процентам.

Почему база меняется от слайда к слайду

Не все вопросы задаются всем участникам. Вопрос об удовлетворённости продуктом получают только те, кто его покупал; вопрос о причинах отказа — только отказавшиеся. Поэтому база на слайде про лояльность может быть втрое меньше общей выборки.

Когда база слишком мала

Условный пример: на слайде написано «67% недовольны сроками доставки», а внизу — «база: 18 человек». Это означает двенадцать человек из восемнадцати. Такая цифра может указывать на проблему, но говорить о двух третях клиентов по ней нельзя. Многие агентства помечают малые базы специальным значком или предупреждением; если такой пометки нет, проверяйте сами.

Размер базыКак интерпретировать
Меньше 30Только как качественный сигнал, без опоры на проценты
30–100Ориентировочные данные, заметная погрешность, сравнения ненадёжны
100–300Рабочая точность для большинства управленческих выводов
Более 300Надёжная база, можно сравнивать подгруппы при достаточном их размере

Эти границы условны и зависят от задачи, но как ориентир для быстрой проверки они работают хорошо.

Различия: значимые и кажущиеся

Отчёты полны сравнений: мужчины и женщины, Москва и регионы, клиенты и не клиенты, текущая волна и предыдущая. На графике разница в пять процентных пунктов выглядит убедительно, но реальна ли она?

В качественном отчёте статистически значимые различия выделены: цветом, стрелками, буквенными индексами. Если различие не отмечено как значимое, его нельзя использовать как основание для решения, даже если оно бросается в глаза. Подробнее о том, как это работает, — в материале о статистической значимости.

Обратная ситуация тоже встречается: небольшая, но значимая разница на большой выборке может не иметь практического смысла. Рост удовлетворённости на один пункт по десятибалльной шкале может быть статистически достоверным, но вряд ли стоит менять из-за него стратегию. Значимость отвечает на вопрос «реально ли это различие», а не «важно ли оно».

Типичные ловушки интерпретации

Корреляция как причина

Если довольные клиенты чаще пользуются приложением, это не значит, что приложение делает их довольными. Возможно, лояльные клиенты просто активнее во всём.

Слова вместо поведения

«Купил бы» и «купил» — разные вещи. Заявленное намерение почти всегда выше реального поведения, и это нужно закладывать в прогнозы.

Средняя температура

Средняя оценка в семь баллов может означать, что все поставили семь, или что половина поставила десять, а половина — четыре. Смотрите на распределение.

Выборочное чтение

Глаз цепляется за цифры, которые подтверждают ожидания. Специально ищите данные, которые противоречат вашей гипотезе.

Перенос на всех

Выводы по покупателям категории нельзя автоматически распространять на всё население, а выводы по одному городу — на страну.

Игнорирование «затрудняюсь»

Высокая доля неопределившихся — сама по себе важный результат. Она говорит о слабом знании или низкой вовлечённости в тему.

Что искать за пределами резюме

Резюме пишется для того, чтобы быстро передать главное. Но по определению оно что-то опускает. Вот где стоит поискать дополнительные инсайты.

Открытые ответы

Цитаты респондентов и закодированные открытые вопросы показывают, как люди сами формулируют свои проблемы и ожидания. Нередко именно отсюда рождаются идеи для коммуникации: точная формулировка потребности на языке клиента.

Сегментные различия

Общий показатель может скрывать противоположные тенденции. Средняя удовлетворённость стабильна, но в одном регионе она растёт, а в другом падает. Смотрите на разбивки, особенно по тем группам, которые важны для вашей стратегии.

Анкета в приложении

Прочтите формулировки вопросов, по которым сделаны ключевые выводы. Иногда вывод «клиенты считают цены завышенными» опирается на вопрос, в котором уже содержится подсказка. Знание точной формулировки помогает правильно понять цифру.

Как не обмануться визуализацией

Графики облегчают восприятие, но они же способны исказить впечатление. Несколько простых проверок помогают увидеть данные такими, какие они есть.

Первое — ось. Если вертикальная шкала столбчатой диаграммы начинается не с нуля, а, скажем, с шестидесяти процентов, разница между шестьюдесятью пятью и семьюдесятью выглядит как двукратная. Второе — суммы. Если на круговой диаграмме доли складываются больше чем в сто процентов, значит, вопрос допускал несколько ответов, и круговая форма здесь вводит в заблуждение. Третье — объединение категорий. Показатель «скорее и полностью согласны» может скрывать, что полностью согласны единицы, а основная масса выбрала осторожный вариант.

Наконец, обращайте внимание на порядок, в котором выстроены элементы. Сортировка по убыванию помогает найти лидеров, но если на соседних слайдах порядок брендов или характеристик меняется, легко перепутать позиции и сделать неверный вывод.

Как подготовиться к презентации результатов

Презентация отчёта — лучшая возможность получить от исследователей то, что не вошло в слайды. Чтобы встреча была продуктивной, прочитайте отчёт заранее и подготовьте вопросы.

  • Какие результаты вас самих удивили и почему?
  • Какие выводы вы считаете наиболее надёжными, а какие — предварительными?
  • Были ли сложности на поле, которые могли повлиять на данные?
  • Что стоит проверить дополнительно, прежде чем принимать решение?
  • Если бы проект запускали заново, что бы вы изменили?

Исследователи NRay всегда закладывают время на обсуждение результатов с командой заказчика: живой разговор помогает связать цифры с контекстом бизнеса, который знает только клиент. О том, как устроены этапы работы над проектом, можно прочитать на странице как мы работаем.

Практические выводы

Чтение отчёта — навык, который быстро развивается при наличии простой системы. Держите в голове короткий чек-лист:

  • сначала методика и выборка, потом результаты;
  • под каждым графиком смотрите на базу, малые базы читайте как сигнал, а не как факт;
  • опирайтесь только на значимые различия и оценивайте их практический масштаб;
  • смотрите на распределения, а не только на средние;
  • ищите данные, противоречащие вашим ожиданиям;
  • загляните в анкету и открытые ответы;
  • приходите на презентацию с вопросами.

Отчёт — не конечная точка, а материал для решения. Следующий шаг — перевести выводы в конкретные действия, ответственных и сроки; этому посвящена статья о том, как превратить результаты исследования в управленческие решения.

Нужна помощь с исследованием? Специалисты NRay проведут исследование под вашу задачу — от постановки целей до презентации результатов. Оставьте заявку или напишите на [email protected].

Похожие статьи