Репрезентативность выборки: что это и как её обеспечить

Репрезентативность выборки простым языком

Слово «репрезентативный» звучит в брифах так часто, что почти потеряло смысл. Его пишут как знак качества: «нужна репрезентативная выборка». Но если спросить, репрезентативная по отношению к кому и по каким признакам, ответ находится не всегда. А именно в нём и заключается суть.

Репрезентативность — это свойство выборки отражать структуру той совокупности, о которой мы хотим сделать вывод. Если выборка похожа на изучаемую аудиторию по важным для задачи характеристикам, результаты опроса можно переносить на всю аудиторию. Если не похожа — даже очень большой опрос даст искажённую картину.

Попробуем разобраться в понятии без формул: на бытовых аналогиях, примерах типичных смещений и практических вопросах, которые стоит задать подрядчику.

Аналогия с супом

Самое известное объяснение выборки — дегустация супа. Чтобы понять, достаточно ли соли, не нужно съедать всю кастрюлю. Достаточно одной ложки. Но при одном условии: суп должен быть хорошо перемешан. Если соль осела на дно, а вы пробуете сверху, вывод будет неверным, сколько бы ложек вы ни зачерпнули.

В этой аналогии «перемешивание» — это способ отбора респондентов. Если каждый представитель аудитории имеет сопоставимый шанс попасть в выборку, ложка покажет вкус всей кастрюли. Если же отбор устроен так, что одни группы попадают в опрос охотнее других, результат будет смещён.

Генеральная совокупность: с чего всё начинается

Прежде чем говорить о репрезентативности, нужно ответить: кого мы изучаем? Эта группа называется генеральной совокупностью. Примеры:

жители Москвы в возрасте от восемнадцати лет;
покупатели детского питания в крупных городах;
клиенты банка, пользовавшиеся кредитной картой за последние полгода;
владельцы небольших строительных компаний в Московской области.

Выборка может быть репрезентативной только по отношению к конкретной совокупности. Опрос, который хорошо отражает интернет-пользователей крупных городов, не будет репрезентативным для всего населения страны. И это не недостаток, если исследование изначально касается именно интернет-пользователей.

Главное правило. Сначала определите генеральную совокупность, затем — способ, которым вы до неё дотянетесь. Если между этими двумя вещами есть разрыв, именно в нём и возникнет смещение.

Почему размер выборки — не главное

Распространённое заблуждение: чем больше опрошенных, тем репрезентативнее результат. На самом деле размер отвечает за точность, а репрезентативность — за отсутствие систематической ошибки. Это разные вещи.

Условный пример. Компания размещает опрос на своём сайте и собирает несколько тысяч ответов. Кажется, это солидная база. Но ответили в основном те, кто регулярно заходит на сайт, то есть самые вовлечённые клиенты. Их мнение о бренде заведомо лучше, чем у среднего покупателя. Увеличение выборки ещё в десять раз ничего не изменит: мы просто точнее измерим мнение лояльных посетителей.

И наоборот: аккуратно отобранные несколько сотен человек могут дать вполне надёжную картину, если отбор не перекошен. Как правильно рассчитать объём, мы разбираем отдельно в статье о размере выборки.

Параметр	Что определяет	Чем управляется
Размер выборки	Случайную погрешность, ширину доверительного интервала	Количеством интервью
Репрезентативность	Систематическое смещение, похожесть на совокупность	Способом отбора, квотами, взвешиванием

Откуда берутся смещения

Смещение — это систематическое отличие выборки от совокупности. Вот основные источники.

Ошибка охвата

Часть аудитории в принципе не может попасть в опрос. Например, онлайн-опрос не охватывает людей, которые не пользуются интернетом, а телефонный опрос по базе стационарных номеров — тех, у кого есть только мобильный.

Самоотбор

Люди сами решают, участвовать ли в опросе. Откликаются чаще те, кому тема интересна, у кого есть свободное время или сильные эмоции — позитивные или негативные. Опрос с открытым приглашением почти всегда страдает от этого.

Неответы

Даже если приглашение получили все, отвечают не все. Если отказываются в основном представители одной группы, например занятые руководители или молодёжь, выборка смещается.

Удобство отбора

Интервьюер опрашивает тех, кто охотнее останавливается, кто выглядит дружелюбно, кто стоит ближе. Без строгих правил отбора уличный опрос быстро превращается в опрос «приятных людей у метро».

Как обеспечивают репрезентативность на практике

Идеальная случайная выборка, при которой каждый член совокупности имеет известную вероятность попасть в опрос, в маркетинговых исследованиях встречается редко: для этого нужен полный список всей аудитории. Поэтому используется комбинация инструментов.

Квоты

Заранее задаётся структура выборки по ключевым признакам: пол, возраст, регион, тип населённого пункта. Набор останавливается, когда квота заполнена.

Стратификация

Совокупность делится на однородные слои, и отбор ведётся внутри каждого. Так гарантируется, что маленькие, но важные группы не потеряются.

Взвешивание

После сбора данных ответам придаются веса, чтобы структура выборки совпала с известной структурой совокупности. Помогает, если отклонения небольшие.

Важно понимать ограничение: квоты и веса выравнивают выборку только по тем признакам, которые в них заложены. Если смещение связано с признаком, который не контролируется, например с интересом к теме, взвешивание по полу и возрасту его не устранит. Подробности о технике — в статье про взвешивание данных.

Репрезентативность в качественных исследованиях

В фокус-группах и интервью о статистической репрезентативности речь не идёт. Восемь участников группы не отражают структуру рынка, и этого от них не требуется. Здесь важна другая вещь — разнообразие: в выборку должны попасть все типичные варианты поведения и точки зрения, значимые для задачи.

Поэтому в качественных проектах говорят о целевом отборе: исследователь сознательно включает в выборку разные типы участников — постоянных и новых клиентов, сторонников и критиков, жителей центра и окраин. Выводы такого исследования описывают спектр мнений, но не их распространённость.

Пример: как одна и та же задача решается по-разному

Представим сеть фитнес-клубов, которая хочет узнать, насколько жители её районов заинтересованы в утренних групповых занятиях. Рассмотрим три варианта сбора данных.

Первый вариант — анкета на стойке ресепшен. Быстро и бесплатно, но отвечают только действующие клиенты, причём те, кто приходит в определённые часы. Если клуб опрашивает вечерних посетителей, интерес к утренним занятиям окажется заниженным; если утренних — завышенным. Вывод о жителях района сделать нельзя.

Второй вариант — открытая ссылка в социальных сетях клуба. Ответов много, но это подписчики, а среди них непропорционально много молодых и вовлечённых людей. Снова перекос.

Третий вариант — опрос жителей районов с квотами по полу, возрасту и занятости, сформированными по данным о населении, с отдельной подвыборкой действующих клиентов. Дороже, но именно он позволяет оценить потенциальный спрос, а не мнение тех, кто уже ходит в клуб.

Ни один из вариантов не «плохой» сам по себе. Первые два вполне годятся, если вопрос касается только действующих клиентов или подписчиков. Проблема возникает, когда выводы переносят на аудиторию, которой выборка не соответствует.

Вопросы, которые стоит задать подрядчику

Если вы заказываете количественный опрос, попросите исследователя ответить на несколько вопросов. Ответы покажут, насколько продуман дизайн.

Какая генеральная совокупность изучается и как она определена?
Из какого источника берутся респонденты и какая часть совокупности им не охвачена?
По каким признакам задаются квоты и откуда взяты данные о структуре совокупности?
Как контролируется отбор респондентов интервьюерами или панелью?
Будет ли применяться взвешивание и насколько сильно веса отклоняются от единицы?
Какие группы могут быть недопредставлены и как это учтено в выводах?

Хороший подрядчик ответит на эти вопросы спокойно и с конкретикой. Если в ответ звучит только «выборка репрезентативная, не беспокойтесь», стоит копнуть глубже.

Типичные ловушки в интерпретации

Перенос выводов на другую аудиторию. Опрос покупателей в московских супермаркетах не говорит о покупателях в малых городах.
Анализ слишком маленьких подгрупп. Выборка может быть репрезентативной в целом, но если в ней тридцать человек из нужной вам группы, выводы о ней будут очень приблизительными.
Сравнение опросов с разным дизайном. Результаты онлайн- и телефонного опроса могут отличаться не потому, что изменилось мнение людей, а из-за разного охвата и формата.
Игнорирование доли отказов. Если на опрос откликнулась малая доля приглашённых, стоит подумать, чем ответившие отличаются от промолчавших.

Практические выводы

Репрезентативность — не абстрактное требование, а вопрос о том, можно ли доверять переносу результатов с выборки на рынок. Чтобы её обеспечить, нужно:

чётко определить, о какой аудитории вы хотите сделать вывод;
выбрать источник респондентов, который охватывает эту аудиторию с минимальными пробелами;
задать квоты по признакам, которые связаны с изучаемым поведением;
контролировать процесс отбора на полевом этапе;
корректировать небольшие перекосы взвешиванием и честно указывать ограничения.

Помните: большая выборка с перекосом хуже, чем скромная, но правильно отобранная. Вместо слова «репрезентативная» в техническом задании лучше описать, по каким признакам и относительно какой совокупности выборка должна быть сбалансирована. Такие параметры мы всегда согласуем на этапе проектирования, подробнее — в разделе о том, как мы работаем.

Нужна помощь с исследованием? Специалисты NRay проведут исследование под вашу задачу — от постановки целей до презентации результатов. Оставьте заявку или напишите на [email protected].

Репрезентативность выборки простым языком