Взвешивание данных опроса: зачем нужно и как делается

Идеальная выборка, в которой каждый слой аудитории представлен ровно в своей доле, встречается только в учебниках. В реальном опросе всегда что-то сдвигается: женщины охотнее соглашаются на интервью, чем мужчины, пенсионеров проще застать дома, молодёжь легче найти онлайн, а жители одного района отвечают чаще, чем другого. Если такие перекосы не исправить, итоговые цифры будут описывать не целевую аудиторию, а тех, кто оказался доступнее.

Взвешивание — это статистическая процедура, при которой каждой анкете присваивается коэффициент (вес). Анкеты из недопредставленных групп получают вес больше единицы, из перепредставленных — меньше. В результате взвешенная выборка по ключевым характеристикам совпадает с генеральной совокупностью.

Процедура звучит просто, но требует аккуратности: неправильные веса способны исказить результаты сильнее, чем исходный перекос. Разберём, когда взвешивание нужно, как оно делается и где его границы.

Когда взвешивать необходимо

Есть несколько типичных ситуаций, в которых без весов не обойтись.

Естественные перекосы при сборе. Квоты выполнены неточно, часть групп недобрана. Например, в опросе мужчин от 18 до 30 лет оказалось 9% вместо 13%.
Намеренная непропорциональная выборка. Чтобы анализировать редкую группу, её опросили больше, чем она занимает в населении (бустер). При расчёте общих показателей её вклад нужно уменьшить.
Равные квоты по регионам. Опросили по 300 человек в пяти городах разного размера. Для сравнения городов это удобно, но общие цифры без весов будут завышать вклад маленьких городов.
Смешанные режимы сбора. Онлайн- и телефонная части выборки по-разному представляют возрастные и образовательные группы, и веса помогают выровнять итоговую структуру.

Если же выборка собрана строго по пропорциональным квотам и отклонения минимальны, взвешивание может быть не нужно вовсе — или ограничиться очень мягкой коррекцией.

Откуда брать «правильную» структуру

Взвешивание всегда опирается на внешний эталон — данные о том, как на самом деле устроена генеральная совокупность. Без надёжного эталона веса превращаются в подгонку.

Тип аудитории	Источник эталона	На что обратить внимание
Население города или страны	Официальная статистика по полу, возрасту, территории, образованию	Свежесть данных, соответствие возрастных границ анкете
Пользователи категории	Предварительный репрезентативный скрининг	Скрининг должен быть достаточно большим и случайным
Клиенты компании	Клиентская база: доли сегментов, тарифов, регионов	Качество базы, учёт неактивных клиентов
B2B-рынок	Отраслевые реестры, распределение компаний по размеру и отрасли	Взвешивание по числу компаний или по их доле в обороте

Важный вопрос в B2B — что считать единицей: компанию или её вклад в рынок. Мнение крупного дистрибьютора и маленькой фирмы с точки зрения объёма закупок весит по-разному, и иногда данные взвешивают дважды — для анализа «голосов» и для анализа «денег».

Основные методы взвешивания

Ячеечное взвешивание

Выборку разбивают на ячейки по сочетанию признаков — например, пол × возраст × тип населённого пункта. Для каждой ячейки вес считается как отношение её доли в генеральной совокупности к доле в выборке. Если в населении мужчин 30–44 лет 13%, а в выборке 10%, их вес равен 1,3.

Метод прозрачный и понятный, но работает только при достаточном числе анкет в каждой ячейке. Когда признаков много, ячеек становится десятки, и в некоторых оказываются по два-три человека — их веса становятся огромными и нестабильными.

Рейкинг (итеративное пропорциональное взвешивание)

Вместо всех сочетаний признаков выравнивают каждое распределение по отдельности: сначала по полу, потом по возрасту, потом по территории — и повторяют цикл, пока все распределения одновременно не совпадут с эталоном. Это самый распространённый метод в маркетинговых опросах: он позволяет учесть много признаков без дробления выборки на мелкие ячейки.

Калибровка и более сложные модели

Для специфических задач используют модельные подходы: веса рассчитываются на основе вероятности попадания в выборку, оценённой статистической моделью. Это актуально, например, при работе с онлайн-панелями, где состав участников заметно отличается от населения не только по демографии, но и по поведению.

Пошаговая процедура

Определите переменные взвешивания. Это признаки, по которым есть надёжный эталон и которые связаны с ключевыми показателями исследования. Обычно — пол, возраст, территория, иногда образование или уровень дохода.
Согласуйте категории. Возрастные группы в анкете и в эталоне должны совпадать. Если в статистике «30–39», а в анкете «25–34», нужно пересобрать группы.
Проверьте исходные отклонения. Сравните невзвешенную структуру выборки с эталоном. Если отклонения огромные, это сигнал о проблемах сбора, а не о необходимости «сильных» весов.
Рассчитайте веса. Выберите метод, задайте эталонные распределения и получите коэффициенты для каждой анкеты.
Ограничьте экстремальные веса. Задайте пределы — например, от 0,3 до 3. Анкета с весом 8 означает, что мнение одного человека заменяет восьмерых, и любая его случайность попадёт в итоги.
Оцените эффект дизайна. Рассчитайте эффективный размер выборки после взвешивания. Это реальная «сила» данных, которую нужно учитывать при оценке погрешности.
Сравните взвешенные и невзвешенные результаты. Если ключевые показатели изменились на десять и более пунктов, стоит разобраться, почему, и описать это в отчёте.

Эффект дизайна: цена взвешивания

Каждое взвешивание уменьшает статистическую эффективность выборки. Чем сильнее разброс весов, тем больше потеря. Условный пример: выборка 1 000 анкет со значительным разбросом весов может «работать» как 700 анкет. Погрешность при этом вырастает примерно с ±3,1 до ±3,7 пункта.

Отсюда практическое следствие: лучше потратить больше усилий на качественный сбор и соблюдение квот, чем полагаться на сильное взвешивание потом. Об этом стоит помнить уже на этапе, когда вы решаете, какого размера будет выборка.

Взвешивание исправляет состав выборки только по тем признакам, которые в нём участвуют. Если онлайн-респонденты отличаются от населения образом жизни, а вы выравниваете только пол и возраст, это различие никуда не денется. Веса не превращают нерепрезентативную выборку в репрезентативную.

Условный пример: как веса меняют результат

Представим опрос о намерении пользоваться новой онлайн-услугой. В выборку попало 30% людей старше 55 лет, хотя в населении их около 40%. Молодые респонденты, наоборот, перепредставлены. Среди старших намерение пользоваться услугой — 20%, среди остальных — 55%.

Без весов общий показатель получится около 44,5%. После взвешивания, когда старшая группа займёт свои 40%, он снизится примерно до 41%. Разница в три с половиной пункта может показаться небольшой, но для прогноза спроса и бизнес-плана это сотни тысяч потенциальных клиентов. Именно поэтому общие показатели всегда считают по взвешенным данным, а сравнение подгрупп — с учётом реального числа анкет в каждой.

Типичные ошибки

Взвешивание всего подряд

Чем больше переменных, тем сильнее разброс весов и меньше эффективная выборка. Берите только те признаки, что действительно влияют на результаты.

Ненадёжный эталон

Если структура генеральной совокупности взята «на глаз» или из устаревших источников, веса закрепляют ошибку вместо того, чтобы её исправлять.

Веса без ограничений

Единичные анкеты с огромными весами делают результаты нестабильными: одно интервью может сдвинуть показатель на несколько пунктов.

Подгонка под ожидания

Подбор переменных взвешивания, пока результат не станет «правильным», — прямое искажение данных.

Молчание в отчёте

Заказчик должен знать, что данные взвешены, по каким признакам и какова эффективная выборка.

Разные веса в волнах

В трекинге схема взвешивания должна быть единой, иначе динамика будет отражать смену методики.

Как показывать взвешенные данные в отчёте

Стандартная практика — указывать в таблицах обе базы: невзвешенную (сколько реально опрошено) и взвешенную. Невзвешенная база важна, чтобы понимать надёжность цифр по подгруппе: если в сегменте 40 реальных анкет, то даже при взвешенной базе 120 доверять таким процентам нужно с осторожностью.

В методическом разделе описывают переменные взвешивания, источник эталона, метод, пределы весов и эффект дизайна. Это позволяет любому читателю оценить, насколько уверенно можно опираться на выводы. Подробнее о том, на что смотреть в методической части, — в статье о том, как читать аналитический отчёт.

Практические выводы

Взвешивание нужно, когда структура выборки отличается от генеральной совокупности — случайно или намеренно, как при бустерах.
Используйте надёжный эталон и согласуйте категории признаков в анкете и источнике.
Для нескольких признаков предпочтителен рейкинг; ячеечное взвешивание подходит при большом числе анкет и малом числе ячеек.
Ограничивайте веса и всегда считайте эффективный размер выборки.
Не пытайтесь весами исправить фундаментально нерепрезентативную выборку.
Прозрачно описывайте процедуру в отчёте и сохраняйте единую схему в трекинговых волнах.

Хорошее взвешивание — это мягкая коррекция хорошо собранных данных. Если же веса приходится «тянуть» слишком сильно, проблема не в анализе, а в поле, и решать её нужно там.

Нужна помощь с исследованием? Специалисты NRay проведут исследование под вашу задачу — от постановки целей до презентации результатов. Оставьте заявку или напишите на [email protected].

Взвешивание данных: зачем и как