Ошибки в анкетах: как не испортить данные опроса

Анкета кажется простым документом: список вопросов, варианты ответов, всё понятно. Именно поэтому её часто пишут на скорую руку, иногда силами маркетолога, который никогда этим не занимался. А потом выясняется, что половина вопросов понята респондентами по-разному, ключевой показатель невозможно посчитать, а длинная анкета довела людей до случайных ответов в последнем блоке.

Ошибки анкеты коварны тем, что после сбора данных их уже не исправить. Плохую выборку иногда можно частично выровнять взвешиванием, плохой анализ — переделать. А вот ответы на неудачный вопрос останутся неудачными навсегда.

Мы собрали ошибки, которые встречаются чаще всего, сгруппировали их по типам и для каждой показали, как сделать лучше.

Ошибки формулировки вопросов

Это самая обширная группа. Вопрос должен пониматься одинаково всеми респондентами и не подталкивать к определённому ответу.

Двойной вопрос

«Насколько вы довольны скоростью и вежливостью обслуживания?» Что ответить человеку, которого обслужили быстро, но грубо? Любой его ответ будет непригоден для анализа. Правило простое: один вопрос — одна тема. Если в формулировке есть союз «и», проверьте, не скрыто ли в ней два вопроса.

Наводящий вопрос

«Согласны ли вы, что новая упаковка стала удобнее?» Формулировка подсказывает ожидаемый ответ, и часть респондентов из вежливости соглашается. Нейтральный вариант: «Как изменилось удобство упаковки по сравнению с прежней?» со шкалой от «стала значительно менее удобной» до «стала значительно удобнее».

Непонятные термины

Слова «ассортиментная матрица», «омниканальность», «кешбэк-программа партнёров» понятны маркетологу, но не обязательно покупателю. Используйте язык, на котором говорит аудитория, а при необходимости давайте короткое пояснение.

Размытые кванторы

«Как часто вы покупаете кофе: редко, иногда, часто?» Для одного «часто» — это каждый день, для другого — раз в неделю. Лучше давать конкретные интервалы: «несколько раз в неделю», «примерно раз в неделю», «два-три раза в месяц».

Вопросы о гипотетическом будущем

«Купили бы вы этот продукт, если бы он появился в продаже?» Люди склонны переоценивать свои намерения. Такие вопросы допустимы, но их результаты требуют осторожной интерпретации и сравнения с базовыми значениями.

Ошибки в вариантах ответа

Даже идеальный вопрос можно испортить неудачным набором вариантов.

Ошибка	Пример	Как исправить
Пересекающиеся интервалы	«от 18 до 25», «от 25 до 35»	«18–24», «25–34» — без общих границ
Неполный список	Нет варианта для тех, кто не пользуется услугой	Добавить «не пользуюсь», «другое (укажите)»
Несимметричная шкала	«отлично, хорошо, нормально, плохо»	Равное число положительных и отрицательных градаций
Нет варианта «затрудняюсь ответить»	Человек не знает бренд, но вынужден его оценить	Добавить выход там, где незнание возможно
Слишком много вариантов	Тридцать пунктов в одном списке	Сгруппировать, разбить на блоки, ротировать

Отдельная тема — порядок вариантов. Люди чаще выбирают пункты из начала списка в онлайн-анкетах и из конца — при чтении вслух. Для списков брендов и характеристик стоит использовать случайную ротацию порядка. Подробнее о выборе шкал мы пишем в статье о шкалах в анкетах.

Ошибки структуры и логики

Анкета — не просто набор вопросов, а сценарий разговора. Его логика влияет на ответы не меньше, чем формулировки.

Неудачный порядок блоков. Если сначала показать рекламу бренда, а потом спросить о спонтанном знании марок, результат будет завышен. Спонтанные вопросы всегда идут раньше подсказанных.
Сломанные переходы. Человек сказал, что не пользуется услугой, но ему всё равно задают вопросы об удовлетворённости ею. В онлайн-анкетах такие ошибки особенно заметны и раздражают.
Сложные вопросы в начале. Анкета, которая открывается вопросом о доходе, теряет часть респондентов сразу. Личные и чувствительные вопросы лучше ставить ближе к концу.
Отсутствие разогрева. Первые вопросы должны быть простыми и интересными, чтобы человек втянулся в разговор.
Эффект контекста. Вопрос о проблемах обслуживания, заданный перед общей оценкой компании, снижает эту оценку. Порядок вопросов нужно продумывать под задачу.

Проверка логики. Перед запуском пройдите анкету несколько раз, представляя себя разными типами респондентов: постоянным клиентом, ушедшим клиентом, человеком, который вообще не знает бренд. Ошибки в переходах обнаруживаются почти сразу.

Перегруженная анкета

Самая распространённая ошибка в коммерческих проектах — желание задать всё. Каждый отдел добавляет «пару вопросов», и анкета на пятнадцать минут превращается в анкету на сорок. Последствия предсказуемы:

Растёт доля прерванных интервью, а среди оставшихся непропорционально много людей с избытком свободного времени.
Во второй половине анкеты падает качество ответов: люди выбирают одинаковые варианты, пропускают открытые вопросы, отвечают наугад.
Растёт стоимость поля и сроки.
Усложняется анализ: в отчёте появляется множество таблиц, не связанных с основной целью.

Лекарство — жёсткая приоритизация. Для каждого вопроса спросите: какое решение зависит от ответа и что мы сделаем, если ответ окажется таким или иным? Вопросы без ответа на этот тест — кандидаты на удаление.

Ошибки в открытых вопросах

Открытые вопросы дают живые формулировки и неожиданные идеи, но работают только при правильном обращении.

Слишком много

Пять-шесть открытых вопросов подряд утомляют, и ответы становятся односложными: «не знаю», «нормально», «всё устраивает».

Слишком общие

«Что вы думаете о компании?» даёт разрозненный поток мнений. Конкретный вопрос — «что бы вы изменили в первую очередь?» — даёт полезный ответ.

Без плана анализа

Сотни открытых ответов нужно закодировать. Если на это не заложено время и бюджет, ценные данные остаются непрочитанными.

Как превращать свободные ответы в аналитические категории, мы разбираем в материале про кодирование открытых вопросов.

Ошибки, которые проявляются только в поле

Некоторые проблемы не видны за столом и обнаруживаются только при реальных интервью:

фразы, которые неудобно читать вслух, — интервьюер начинает пересказывать своими словами;
карточки с вариантами, которые трудно разглядеть на экране телефона;
вопросы, на которые респондент не знает ответа, потому что решение в семье принимает другой человек;
фактическая длительность, которая оказывается в полтора раза больше расчётной.

Именно поэтому любую новую анкету стоит проверить на небольшой группе респондентов до основного поля. Подробности — в статье про пилотаж анкеты.

Ошибки в вопросах о прошлом поведении

Вопросы о том, что человек делал, кажутся надёжнее вопросов о мнениях. Но и здесь хватает ловушек, связанных с устройством памяти.

Слишком длинный период припоминания

«Сколько раз за последний год вы покупали шампунь?» Точно ответить на такой вопрос невозможно, и респондент называет число наугад. Для частых покупок период должен быть коротким — неделя или месяц, для редких и значимых, например покупки бытовой техники, можно брать полгода или год.

Эффект телескопа

Люди склонны «подтягивать» запомнившиеся события ближе к настоящему. Покупка, совершённая восемь месяцев назад, попадает в ответ на вопрос о последнем полугодии. Помогают уточнения с опорными событиями: «после новогодних праздников», «с начала учебного года» — но без указания конкретных дат, которые респондент всё равно не вспомнит.

Вопрос «обычно» вместо «в последний раз»

«Где вы обычно покупаете продукты?» даёт идеализированную картину. Вопрос о последней конкретной покупке — где, что, сколько потратили — точнее отражает реальное поведение. А совокупность последних покупок большой выборки хорошо описывает типичную структуру.

Социально одобряемые ответы

О полезных привычках люди рассказывают охотнее, чем о вредных: занятия спортом преувеличиваются, траты на алкоголь и азартные игры преуменьшаются. Смягчают проблему нейтральные формулировки («многие люди иногда…»), анонимный онлайн-формат и косвенные вопросы.

Короткий чек-лист перед запуском

Сверка с целью. Каждый блок анкеты отвечает хотя бы на одну задачу исследования.
Проверка формулировок. Нет двойных, наводящих вопросов, профессионального жаргона и размытых кванторов.
Проверка вариантов. Списки полные, интервалы не пересекаются, шкалы симметричны, предусмотрен выход «затрудняюсь ответить».
Проверка логики. Переходы работают для всех типов респондентов, спонтанные вопросы идут раньше подсказанных.
Проверка длины. Реальная длительность укладывается в согласованный лимит.
Пилотаж. Несколько интервью с реальной аудиторией и корректировка по их итогам.

Практические выводы

Анкета — это измерительный прибор. Если прибор неточен, все последующие расчёты бессмысленны. Чтобы избежать главных ошибок:

формулируйте вопросы на языке респондентов, по одному смыслу в вопросе;
следите за полнотой и симметрией вариантов ответа, используйте ротацию;
выстраивайте логику от простого к сложному и от спонтанного к подсказанному;
безжалостно сокращайте вопросы, не связанные с решением;
планируйте анализ открытых вопросов заранее;
тестируйте анкету до запуска, а не после.

Разработка инструментария — одна из тех задач, где опыт исследователя окупается напрямую: несколько часов профессиональной правки экономят недели работы с непригодными данными.

Нужна помощь с исследованием? Специалисты NRay проведут исследование под вашу задачу — от постановки целей до презентации результатов. Оставьте заявку или напишите на [email protected].

Типичные ошибки при составлении анкет