Трекинговые исследования переживают непростые времена. Респонденты гораздо меньше, чем раньше выражают готовность отвечать на вопросы, в готовых анкетах высок процент брака, а анализ страдает неточностью. Между тем, эти проблемы решаемы, если мы сумеем последовательно применить три принципа. Но обо всем по порядку.
Представьте себе двух респондентов - мужчину и женщину. На 37-м вопросе трекинговой анкеты их просят оценить, с какой вероятностью они поедут отдыхать в Таиланд в следующем году. Мужчина отвечает «с высокой вероятностью». Женщина оценивает ее как «не слишком высокую». Из этого мы делаем вывод, что в Таиланде, скорее всего, будет один турист, и это будет мужчина. Мы советуем нашему клиенту подготовиться к приезду мужчины и высылаем туристическую информацию, рассчитанную на мужчину.
Но де-факто, в Таиланд едет женщина, а мужчина остается дома. Когда она приезжает в Таиланд, то обнаруживает, что этот курорт плохо подходит для женщин (потому что, ее там не ждали). Она возвращается домой и не советует своим друзьям даже пытаться поехать в Таиланд.
Какую роль в этом сценарии сыграли мы, исследовательское агентство? Мы дали правильную количественную информацию (все-таки половина участников опроса как-никак посетила Таиланд), но ошиблись относительно того, кто именно поедет в эту страну. И последствия этого неверного ответа, данного в результате неточного анализа, для нашего гипотетического клиента могут быть весьма печальными.
Проблемы трекинговых исследований
Вышеуказанный пример – это преувеличенный, но правдивый рассказ о проблемах трекинговых опросов. К тому времени, когда респонденты добрались до «нашего» вопроса, оба они - и мужчина, и женщина - уже были засыпаны другими 36-ю вопросами. Причем, многие из этих предыдущих вопросов были для респондентов совершенно неактуальны, и практически не имели никакого отношения к тому, как принимается решение о вероятности поездки. А ведь именно это интересует клиента. И этот важный вопрос впервые прозвучал в тот момент, когда респонденты настолько утомились опросом и потеряли к нему интерес, так что им было особенно трудно сформулировать точный ответ. Гораздо труднее, чем если бы этот вопрос прозвучал первым. Но даже если бы этот вопрос был задан первым, шансы получить от респондентов точный ответ все равно были бы невысокими.
Мы знаем, что происходит, когда мы спрашиваем респондентов о том, что они будут или могут делать в будущем. Совокупные цифры часто получаются правильными (как это было в вышеуказанном примере), однако конкретная информация о том, кто и что именно будет делать, часто оказывается ошибочной. Такая ситуация уже представляет собой проблему, но она становится еще более серьезной, когда исследователи начинают анализировать ответы так, как будто они могут сказать нам точно: кто поедет в Таиланд, а кто – нет.
Все это неправильно. Опросы не должны быть длинными и утомительными. И они не должны давать ложную информацию о поведении респондентов. Решение заключается в применении трех основных принципов, на которых должно базироваться любое исследование:
- Валидность, т.е. получение от респондента данных, соответствующих цели исследования.
- Избыточность, т.е. удаление всего лишнего для сокращения длительности опроса и повышения его точности.
- Релевантность, т.е. актуальность вопроса для респондента.
Сочетая эти три принципа, можно изменить восприятие респондентами вопросов анкеты и значительно повысить качество данных, предоставляемых клиенту.
Как это делается?
Обеспечение валидности данных на уровне респондента
Мы знаем, что человеческая память – не вполне надежный источник информации. Мы также знаем, что люди неспособны в достаточной степени спрогнозировать свои собственные действия в будущем. Тем не менее, во многих наших вопросах мы просим участников вспомнить то, что они делали в прошлом, или сказать, что они будут делать в будущем.
И напрасно. Если бы мы строго придерживались правила задавать только те вопросы, на которые респондент может ответить точно, то сколько вопросов нам пришлось бы убрать из наших анкет! Вот небольшой (и отнюдь не исчерпывающий) список:
- любые вопросы, требующие использования памяти;
- любые вопросы, касающиеся поведенческих намерений;
- любые оценочные вопросы, рассматриваемые в отрыве от остальных, например, степень удовлетворенности потребителей (этот список можно продолжать, что я и сделал – его можно найти в исследовании Louw and Hofmeyr, 2012).
Но тут возникает вопрос: если мы будем использовать столь строгий подход к валидности данных на уровне респондента, то какая же информация останется доступной для рассмотрения в рамках трекинговых исследований? Ответ: такой информации очень много. Но давайте начнем с того, что перестанем задавать вопросы, дающие нам невалидные данные.
Принцип избыточности
Любой человек, имеющий отношение к опросам, знает, что ответы респондента на некоторые вопросы можно предсказать, глядя на то, как он отвечал на другие. Например, когда вы просите респондентов «подумать о брендах в некоей категории», то бренд, который первым приходит на ум (обычно для этого используется термин top-of-mind), - это обычно тот бренд, которым они пользуются чаще всего. А бренд, которым они пользуются чаще всего, - это обычно бренд, который сильнее остальных ассоциируется с положительными атрибутами. Так почему бы не использовать такую взаимозависимость для автоматического заполнения вопросов в анкетах? Зная ответ на один вопрос, мы просто заполняет ответ на другой (тесно связанный с ним) вопрос, не задавая его респонденту.
Принцип релевантности
Рынки предлагают людям множество различных вариантов; и выбор людей весьма вариативен. Такая ситуация создает особые трудности для исследователей рынка. Вот почему они с ужасом относятся к идее убрать из опроса какой-либо потенциальный атрибут бренда: они боятся упустить критически важную информацию, которая фактически определяет выбор потребителей. В результате, мы получаем трекинговые анкеты для таких товаров, как стиральные порошки или безалкогольные напитки, где в каждом вопросе об имидже бренда респондентов просят сделать выбор из 40 или более атрибутов. Никто из моих знакомых не рассматривает столь много факторов при принятии решения о покупке или использовании товаров и услуг. И я сильно подозреваю, что и среди ваших знакомых таких людей тоже не найдется.
Профессор Герд Гигеренцер из Института Макса Планка показал, что если вы можете определить самый важный фактор, который принимает во внимание потребитель на рынке, то вы можете спрогнозировать его поведение. Наш мозг невероятно эффективно просеивает поступающую информацию и быстро определяет, что именно из имеющего может подойти именно нам. Он делает это с помощью того, что ученые называют «эвристика» - использование эмпирических правил или метода наименьших затрат сил и времени. Воспользовавшись этим стремлением к сокращению, и сконцентрировавшись на том, что актуально для респондента, мы можем значительно сократить анкету для каждого респондента. И при этом полностью сохранив охват всего спектра его потребностей и желаний в том, что касается товаров, услуг и брендов.
Внедрение трех принципов
Когда мы применяем описанные выше три принципа в своей работе, мы тут же добиваемся позитивного эффекта для обеих сторон: для респондентов, которые отвечают на эти вопросы, и для клиентов, которые зависят от выявленного в ходе опроса инсайта.
Опросы, посвященные изучению капитала бренда (некогда длинные и скучные), теперь занимают менее трех минут; мы избегаем ситуаций, при которых люди вынуждены корпеть над длинными списками атрибутов, повышая при этом точность их ответов на 60 процентов или более. Более того, мы сокращаем количество задаваемых вопросов, что дает нам время задать куда более актуальные, интересные вопросы гораздо более вовлеченным в опрос респондентам.
Ценность бренда менее чем за три минуты
Если вы не знакомы с этими тремя принципами, то ваши шансы на проведение эффективного опроса о капитале бренда менее чем за три минуты выглядят весьма невысокими. Рассмотрим, например, автомобильный рынок. В большинстве стран и регионов на этом рынке доминируют пять или шесть производителей, каждый из которых предлагает от шести до восьми типов автомобилей, две – три модели каждого типа и нескольких ценовых уровней. Как же измерить капитал бренда с учетом такого разнообразия на каждом рынке, когда в рамках наших опросов приходится рассматривать так много вариантов? Даже традиционное трекинговое исследование брендов с трудом умещает в себе все эти вопросы.
Ключ к решению этой проблемы - признать, что никто не рассматривает сразу все возможности и варианты. Большинство людей быстро определяют подмножество актуальных вариантов, а затем фокусируются уже на них. Мы должны делать то же самое: определив только те бренды, которые обладают актуальностью для респондента, мы резко сократим количество вопросов, на которые ему придется отвечать. В конце концов, если у какого-то бренда нет ни одного шанса на то, что его купят, то его фактический капитал бренда равен нулю.
Представим человека, который хочет ездить на Ferrari, но не может себе этого позволить. Мы бы сказали, что бренд Ferrari является для него очень привлекательным, но в силу обстоятельств эта привлекательность не может быть реализована. Предположим, что марка Lexus компании Toyota является его второй любимой маркой. Если он может себе ее позволить, то именно ее он и купит. Audi может быть третьей любимой и финансово доступной маркой, но ее он не купит.
Этот пример показывает нам, что нужно знать всего лишь два аспекта, касающиеся бренда, чтобы количественно оценить его ценность применительно к конкретному респонденту. Во-первых, это место бренда в рейтинге потребителя (первый, второй, третий и т.д.), а, во-вторых, в какой степени обстоятельства склоняют чашу весов в пользу этого бренда или действуют против него. В компании TNS мы называем первый аспект «силой в сознании потребителей» (power in the mind), а второй – «силой на рынке» (power in the market).
Постойте, можете сказать вы, да ведь это приведет к увеличению количества вопросов, а не к уменьшению. В конце концов, сколько потребуется вопросов, чтобы измерить реальный уровень привлекательности бренда? Или степень влияния обстоятельств?
Ответ: независимо от того, насколько сложным является конкретный рынок, для каждого бренда мы можем установить капитал бренда на уровне респондента путем применения трех указанных принципов. Мы применяем принцип актуальности, чтобы сосредоточиться только на тех брендах, которые респондент реально готов рассматривать. Опыт показывает, что для большинства категорий такой набор состоит примерно из четырех брендов. Мы применяем принцип избыточности, задавая только один вопрос для рейтинговой оценки бренда для каждой из четырех марок. И мы применяем принцип валидности на уровне респондента, задавая вопрос об использовании брендов, который (как показали наши исследования) лучше всего коррелирует с тем, что люди делают на самом деле.
В результате у нас получится основной опрос, который займет менее трех минут, независимо от размеров списка брендов или сложности рынка. При таком опросе, коэффициент корреляции с тем, как фактически ведет себя каждый отдельный респондент, составляет около 0,62. Другими словами, более чем в шести из десяти случаев опрос сможет точно спрогнозировать личное поведение потребителей. В том, что касается прогнозирования доли рынка, корреляция превращается, практически, в функциональную зависимость: R = 0.90+ (точное прогнозирование в девяти из десяти случаев).
Сокращение длины списков и повышение валидности
Одной из основных причин, почему опросы получаются длинными, являются длинные списки (lists). Типичная анкета о степени удовлетворенности клиентов отеля будет включать в себя вопросы о регистрации, номерах отеля, наличии возможностей для ведения бизнеса и отдыха, процедуре выезда и т.п. Внутри каждого такого вопроса будет еще один набор вопросов. В исследованиях капитала бренда обычно используется от 30 и 120 высказываний для оценки имиджа бренда.
Длинные списки не только утомляют респондентов. Часто они полностью подрывают качество данных на выходе исследования. Чем больше вас просят думать о вещах, которые не имеют ничего общего с вашим поведением, тем труднее давать точные ответы на вопросы о том, как вы себя ведете в таких ситуациях на самом деле. Сокращение списков должно быть абсолютным приоритетом для трекинговых исследований.
Как это часто бывает, задача сокращения списков становится намного легче, если мы применяем принцип актуальности для респондентов. Если рассматривать вообще все возможные аспекты, которые люди теоретически могут учитывать в момент выбора, то у вас получится очень длинный список. Однако он будет значительно короче, если вы оставите в нем только те аспекты, которые имеют отношение к каждому конкретному респонденту.
Рисунок 1: Использование эвристики для сокращения списка
Сосредоточьтесь на том подмножестве вариантов, которое имеет отношение к респонденту
- Бренды, актуальные для данного респондента (8.9)
- Атрибуты / важнейшие характеристики, актуальные для данного респондента (8-17)
- Значительно сокращает задачу для респондента
- Значительно сокращает длину анкеты
- Повышает валидность: коэффициент корреляции с реальной долей покупок составляет от R = 0,31 до R = 0,62
Применение принципа избыточности для сокращения длины
Вообще говоря, у нашей отрасли есть целое море полезных данных. Каждый год мы проводим тысячи исследований. И тем не менее, мы практически не занимается мета-анализом, который мог бы обнаружить взаимосвязь между тем, как человек отвечает на один вопрос, и тем, как он отвечает на другой. В противном случае мы бы обнаружили много взаимосвязей, которые уменьшили бы необходимость задавать вопросы. Поэтому мы в TNS и начали процесс мета-анализа. Мы использовали прогностический анализ, чтобы добиться значительной экономии времени за счет более эффективного сегментирования и автозаполнения ответов.
Чтобы понять, насколько эффективным может быть такой подход, давайте посмотрим на взаимосвязь между тем, насколько люди привержены бренду, и как они реагируют на вопросы об ассоциации атрибутов (рисунок 2). Зная, как половина респондентов ответили на вопрос об ассоциации атрибута, и зная, к какому бренду они привержены, мы смогли создать внутриопросные модели, которые позволяют нам автоматически заполнять ответы оставшихся респондентов с коэффициентом корреляции R = 0.99+ (на агрегированном уровне) и R = 0.75+ (на уровне респондентов). Это означает, что фактически мы почти всегда даем правильные ответы в том, что касается поведения групп людей, и в более чем трех из четыре случаях в том, что касается поведения отдельных респондентов.
Рисунок 2: Автозаполнение ответов
Использование приверженности потребителей для создания моделей автозаполнения внутри опроса
1. По мере того, как каждый респондент отвечает на вопросы анкеты, рассчитайте долю привязанности к бренду и распределите респондентов по группам в зависимости от доли привязанности.
2. Эти респонденты отвечают на вопросы, касающиеся атрибутов.
3. Восприятие бренда остальными респондентами заполняется автоматически - на основе модели, разработанной с учетом восприятия аналогичных респондентов.
Более эффективная маршрутизация расчетов в рамках опросов
Если опрос несет в себе некоторый потенциал для алгоритмизирования, то он позволяет встраивать возможности для расчетов в реальном времени. Затем мы можем использовать эти расчеты для выработки более эффективной маршрутизации респондентов и повышения общей эффективности исследования.
Когда мы вставляем в опрос о капитале бренда параметр power in the mind, у нас появляется основа для более эффективной маршрутизации. Например, клиент разработал коммуникационную кампанию, направленную на привлечение нелояльных пользователей одного из своих конкурентов. С помощью параметра power in the mind, мы можем в режиме реального времени выявить респондентов, которые попадают в эту категорию, и направить на вопросы о коммуникационной кампании только этих респондентов. Предположим, что клиент разработал отдельный набор стратегий, направленных на удержание собственных нелояльных пользователей. С помощью аналогичного процесса мы определяем таких респондентов и направляем на вопросы о стратегии удержания только этих респондентов.
Это не модульный подход. Мы не предлагаем добавлять или удалять из трекинговых опросов жестко заданные блоки вопросов. Наоборот, мы используем все элементы гибкости и возможности приспособляемости к конкретной ситуации, которые дают нам наши знания о том, как люди принимают решения. При этом, мы не только задаем нашим респондентам более релевантные вопросы, но и эффективнее концентрируем их внимание на наиболее важных для нас. В результате мы получаем данные более высокого качества.
Будущее опросов: короче, эффективнее и точнее в предугадывании ответов
То, что мы предлагаем, - это, по сути, революция в подходе к созданию опросов. Применяя описанные выше три принципа, можно повысить как эффективность опросов, так и качество данных на выходе. Для этого необходимо:
- безжалостно удалять вопросы, не связанные с реальным поведением людей в их обычной жизни;
- использовать переходы на актуальные для респондентов темы, опираясь на взаимосвязь между ответами на разные вопросы.
Освободив трекинговые исследования от необходимости задавать респондентам вопросы о каждом возможном варианте их поведения или восприятия, мы позволить им сосредоточиться на вопросах, которые действительно имеют значение. И в результате мы повысим точность их ответов и ценность полученной информации.
