Примеры плохих опросов: разбираем, какие вопросы задавать не стоит и почему

Есть много материалов о том, как делать опросы: вы легко найдете типовые подходы и анкеты. Лев Кертман, директор по исследованиям Tiburon Research, расскажет об обратном: что неправильно выяснять с помощью опросов и что не стоит спрашивать у людей. В статье будем говорить в основном о количественных массовых опросах

Описанные в материале правила будут полезны заказчикам исследований, чтобы

обращать внимание на альтернативные методы получения знаний и более осознанно

воспринимать результаты исследований.

Три основных правила проведения опросов

1. Не выясняйте то, что не нужно вам для принятия решений

Огромное число исследований инициируются без конкретных бизнес-задач. К нам

регулярно приходят с запросами на опрос, где понятно все, кроме того, зачем оно

проводится и на какие решения повлияет результат.

Когда рынок для компании новый, хочется «исследовать что-нибудь». Но

практика показывает, что чем размытее задача, тем меньше вероятность, что потом

результаты будут применяться. 

Если исследователь не понимает, что именно спрашивать и на что обращать

внимание при анализе, то по такому запросу на выходе вы получите предсказуемые

и бесполезные результаты. Для получения полезных инсайтов надо хотя бы примерно

понимать, что мы ищем.

Хотите просто осмотреться в рынке — посмотрите готовую статистику или

почитайте открытые исследования. Так у вас появятся идеи и более прикладные

вопросы по конкретным аспектам рынка, где вы увидите для себя возможности или

риски. После этого можно заказывать собственное исследование, понимая, как

использовать его результаты.

Клиент: «Мы уже приняли решение и точно выпустим вот

этот продукт, но давайте его протестируем».

Если уже решено, что будет сделано, независимо от результатов

исследования, — не стоит тратить на него время и деньги. 

Клиент может быть уверен в том, что опрос покажет определенный результат, и

проводит исследование только «для подтверждения, не имея плана на другой

случай. Если итог оказался противоположным, у него нет понимания, что делать.

Если вы знаете, что любое мнение респондентов не изменит ваше решение, нет

смысла пытаться его узнать.

2. Не подменяйте нужную аудиторию доступной

Клиент: «Хотим узнать, почему не подключают наш сервис.

Предлагаем взять нашу базу пользователей и опросить 50 000, потратив меньше

денег». 

Задача и аудитория исследования неразрывно связаны. Что произойдет, если

последовать за логикой заказчика из примера выше? Можно очень подробно

расспросить пользователей сервиса про его недостатки, но, если новых

потенциальных клиентов отпугивает неудобная страница регистрации, вы этого,

скорее всего, не узнаете, потому что опросили тех, кто давно зарегистрирован.

Они уже преодолели это препятствие, и страница регистрации раньше могла быть

другой. Большая выборка здесь не поможет, неправильно выбранная аудитория

количеством анкет не компенсируется.

Определение целевой аудитории (кого мы опрашиваем) и условий ее

отбора — важная составляющая дизайна проекта. Обязательно задавайте себе

при планировании проекта следующие вопросы:

— Чье мнение меня интересует в рамках конкретной задачи? 

— У меня вопрос ко всем потребителям в отрасли? К тем, кто знает мой бренд? К

моим покупателям или к какой-то еще особой группе? 

Неправильные ответы на эти вопросы могут сделать исследование бесполезным

независимо от качества самой анкеты и размера выборки. 

3. За экспертным знанием — к профессионалам

«Сколько будет стоить нефть в следующем месяце?»«Как лучше

лечить коронавирус?»

«Что определяет надежность мотоцикла?»

Для ответа на эти вопросы нужно быть экспертом в конкретной предметной

области. Как правило, в таких случаях проводятся глубинные подробные

неформализованные интервью с небольшим количеством профильных специалистов.

Бывают ситуации, когда важно знать именно общественные представления по

таким вопросам. Нужно отдавать себе отчет, что опрос по таким вопросам

даст вам информацию только о популярных представлениях, а не по существу. Если

же вы зачем-то решили спросить такое у широкой аудитории, будьте готовы, что ее

ответы не совпадут с экспертными мнениями. И главное, не делайте на основе

таких опросов выводов по сути заданного вопроса.

Три правила о том, что не стоит спрашивать

1. Не спрашивайте то, что люди не помнят

«Откуда вы впервые услышали о компании “Аэрофлот”?»«С какой

полки вы взяли йогурт две недели назад?»«Где вы видели этот

рекламный баннер?»

Подумайте, точно ли то, что вы хотите узнать, в целом помнит значимое число

обычных людей. Если нет, то лучше и не пытаться спрашивать — не стоит

рассчитывать, что все, кто не помнит ответ, в этом признаются. Многие просто

ответят так, как им кажется логично.

Яркий пример: про множество рекламных роликов до половины узнающих их

респондентов отвечают, что видели их по телевизору, даже если видео выходили

только в интернете. Это не умышленное вранье, люди действительно помнят ролик,

но не помнят, где его смотрели. Так происходит потому, что аудитория каждый

день видит десятки рекламных материалов на различных экранах. А так как

телевидение для многих остается источником видео «по умолчанию», выбирают его

как самый логичный ответ на вопрос.

Решение: не пытаться вытащить из людей такую информацию, а получать ее

другими способами. В случае с роликами — это статистика рекламных кампаний или

счетчики, фиксирующие реальные контакты людей с рекламой. А если вам надо

понять, с какой полки берут йогурт, то лучше организовать наблюдение в реальном

магазине.

2. Не заставляйте людей считать

«Какой у вас средний доход на члена семьи? Сложите все доходы всех членов

семьи за год, разделите на количество людей в семье и на количество месяцев.

Впишите результат в поле ниже».

Такой вопрос работает неточно и ухудшает отношение респондента к вашей

анкете, что плохо влияет и на последующие ответы. 

Что делать:

Спросите себя, точно ли вам нужен этот вопрос. Для анализа обычно

намного полезнее вопросы про уровень жизни, так как в них уже учтены не только

доходы, но и фиксированные расходы. Если вы хотите узнать потребительский

потенциал человека, то полезнее спросить, как он живет, а не угадывать, какую

часть формального дохода он отдает за ипотеку. А еще человек может и не знать

точно доходы других членов семьи, это тоже снижает качество результатов по

такому вопросу.

Отдельно уточните доход и число членов семьи. При анализе вы

разделите одно число на другое без ошибок, что совершенно не гарантированно,

когда респонденты делят в уме.

Откажитесь от года. Можете попросить учесть премии и другие

нерегулярные платежи. Но лучше спрашивать про месячный доход, так результат

будет точнее.

Предложите на выбор разумные интервалы. Так человеку не понадобится

высчитывать точное число и вписывать или озвучивать его с риском очередной

ошибки.

Поставьте такой вопрос в конец анкеты. Если не сработает, то вы хотя

бы не повлияете на качество ответов на другие вопросы.

Аналогичные подходы можно применять и к другим похожим вопросам: у человека

лучше спрашивать то, что он проще всего вспомнит, а посчитать из этого все

необходимое исследователь может самостоятельно.

3. Не спрашивайте про неопределенное или далекое будущее

«Готовы ли вы когда-нибудь платить за музыку?»«Планируете ли

вы побывать за границей?»«Допускаете ли вы взятие

кредита?»

Ответы на такие вопросы будут не столько отражением объективной реальности,

сколько следствием личных характеристик человека. Кто-то все допускает, а

кто-то отвечает из представлений о ближайшем месяце.

Сравните рассуждения: «мало ли, может, когда-то что-то случится, придется и

кредит брать» и «у меня же все хорошо, зачем мне сейчас кредит». Они совершенно

не противоречат друг другу и могут отражать мысли людей с одинаковой

готовностью к кредитам, но по-разному воспринявших вопрос.

Решение простое: всегда указывайте в формулировке вопроса горизонт интереса.

Желательно, чтобы он был не больше чем «в ближайшие год-два». На более долгий

срок большинство респондентов могут ответить только по ограниченному числу

вопросов.

Три принципа формулирования вопросов и ответов

1. Избегайте терминов и сложных слов

Однажды мы делали исследование по коммуникациям благотворительного фонда, и

самым важным и неожиданным результатом оказалось то, что половина их аудитории

не знали значения слова «паллиативный», которым фонд пользовался во всех своих

публикациях без разъяснений. Когда стали заменять его на понятные синонимы или

добавлять поясняющие сноски, эффект коммуникаций резко вырос.

Аналогично и с анкетами. Любой заказчик исследования мыслит в рамках своей

отрасли, живет в мире привычных терминов (иногда иностранного происхождения) и

аббревиатур, он погружен в тему лучше среднего потребителя своего товара.

Вашу анкету должен хорошо понимать наименее продвинутый из попадающих в вашу

аудиторию. Поэтому не стесняйтесь использовать простые синонимы, а к

необходимым терминам добавлять пояснения или иллюстрации.

Несколько примеров слов, непонятных для массового опроса по максимально широкой

аудитории: ПЭТ-упаковки, реструктуризация кредита, билборд, MBA, GPT, СПГ.

2. Избегайте вопросов с социально одобряемыми ответами.

«Важно ли для вас мнение вашей семьи?»

«Есть ли у вас вредные привычки?»«Украдете ли вы жвачку из

магазина, если там не будет камер?»

Все эти вопросы могут применяться в личностных и психологических тестах, но

в маркетинговых исследованиях от них нет пользы — невозможно надежно

вычислить, какой процент ответов дан под влиянием социальной нормы. Однако

снизить эффект социального давления можно переформулированием вопроса.

Например, если мы хотим выяснить, в какой степени люди ориентируются на

мнение семьи при выборе интересующего нас товара, то можно спросить так: «К

кому вы скорее всего прислушаетесь при покупке … ?» И предложить варианты

ответа (семья, друзья, продавцы, эксперты и т. д.), ограничив число ответов

каждого респондента одним-двумя. На выходе вы увидите рейтинг всех возможных

ответов, и там уже совершенно необязательно члены семьи будут на первом

месте. 

Если же нам надо узнать о привычках человека, не стоит называть их

«вредными». Лучше предложить респонденту список, где есть и вредные, и

нейтральные, и полезные привычки и попросить выбрать то, что для него

актуально, — так доля полностью честных ответов повысится.

3. Избегайте наводящих, оценивающих и эмоциональных формулировок

«Хотели бы вы воспользоваться этим выгодным

предложением?»«Почему вы не купите этот недорогой йогурт?»

Заказчики обычно вовлечены в свой продукт и рынок и могут даже неосознанно

настаивать на использовании окрашенных формулировок, например, потому что им

очевидно, что предложение выгодное. Но важно помнить, что для корректного

результата анкеты должны быть максимально нейтральными, чтобы на респондента не

влияло ничего, кроме его собственного мнения. 

Схожая проблема бывает не только с вопросами, но и с ответами:

Как вы оцениваете экологическую обстановку в вашем городе?

Ужасная

Плохая

Посредственная

Приемлемая

Нормальная

Такая асимметричная эмоционально окрашенная шкала уже задает конкретную

рамку и смещает результаты.

Во-первых, человеку, который считает, что экологическая обстановка очень

хорошая, просто нечего ответить — такого важно избегать. Если у вас вопрос

с вариантами ответа, то каждый должен всегда находить там свой

вариант.  

Во-вторых, даже те, кто недоволен, воспринимают такую шкалу как подсказку со

стороны составителей опроса. Они будут считать, что от них ждут максимально

негативной оценки, а не просто искренней.

***

Подводя итог, напомним, что в опросах НЕ стоит:

Спрашивать то, что люди наверняка не помнят.

Заставлять людей считать.

Спрашивать про неопределенное или далекое будущее.

Использовать термины и сложные слова.

Задавать вопросы с социально одобряемыми ответами.

Использовать наводящие, оценивающие и эмоциональные формулировки.

Это далеко не все правила, которые рождаются из опыта работы с опросами, но

даже ограниченный набор поможет понять, на что важно обращать внимание при

подготовке исследований.