Обновления каталога
Компаний: 52

Агентство социальной информации (АСИ)

Сложные исследования полного цикла "под ключ"

MegaResearch

Найдем персональное решение для вашего бизнеса

Русопрос

Выявляем потребительские предпочтения ваших клиентов




Интерактивные анкеты

Интерактивные анкеты

Не отвлекут ли flash-элементы респондента от его прямой обязанности – думать над ответами онлайн анкеты.

Объемы использования онлайн опросов в современных маркетинговых и социологических исследованиях стремительно растут. За последние несколько лет они из «экзотики» превратились в один из привычных способов сбора данных, обладающий своими преимуществами и недостатками.

С момента появления онлайн опросов изменилось многое: способы организации и проведения онлайн опроса, инструменты рекрутинга, механизмы контроля процесса сбора данных и т.д. Что еще важнее, изменилась сама Веб среда и ожидания пользователей от пребывания в ней. Так, современный Интернет сайт уже невозможно представить без продуманного, выверенного дизайна. Веб-сервисы привлекают потенциальных пользователей не только все более совершенным функционалом, но и новшествами из разряда «юзабилити»: онлайн сервисы, да и компьютерные интерфейсы в целом, становятся сегодня все удобнее, а к хорошему, как известно, привыкаешь быстро.

На этом фоне все улучшающегося качества веб-сервисов особенно «отличаются» онлайн анкеты, причем отличие это отнюдь не в положительную сторону. Анкеты в основной своей массе, по-прежнему остались на экране респондента такими, какими были несколько лет назад: громоздкими и не всегда качественно сверстанными. В особенности это касается «табличных вопросов», столь часто используемых маркетологами. Таблицы, которые приходится заполнять респондентам, часто не помещаются на экран, а то и на несколько экранов. Даже «материально замотивированным респондентам» выдержать такое непросто, что становится причиной роста доли «начатых, но не законченных анкет», аномально быстрого прохождения таблиц и т.д. Но так ли обязательны эти «табличные формы», да и вообще – скупость изобразительных средств, «серьезность» онлайн анкеты? Если на бумаге табличную форму подачи информации заменить чем-либо трудно, то в онлайн среде на помощь могут прийти современные интерактивные элементы, основанные на flash-технологии. Однако с началом их использования могут появиться и новые проблемы. Как повлияют интерактивные элементы на качество данных? Проведенное нами исследование позволяет ответить на некоторые возникающие здесь вопросы.

Что измеряли

Главной цельюисследования была проверка гипотезы о позитивном воздействии интерактивного инструментария на качество данных онлайн опроса. Мы выделили несколько элементов макета онлайн анкеты, влияющих на ее восприятие (см. Табл. 1)
Таблица 1. Факторы, влияющие на восприятие анкеты
Базовые факторы
Состав базового фактора
Логика построения вопроса и его представление на экране
Месторасположение вопросов на экране, принципы их выравнивания
 
Количество одновременно выводимых на экран вопросов
 
Возможность и легкость перехода между вопросами для респондента
 
Наличие, вид и объем справки для респондента, которой можно воспользоваться в ходе опроса
Форма используемых вопросов
Основные типы используемых вопросов: закрытые/открытые; радио- и чек-кнопки, ролевые схемы и т.д.;
 
Способ организации вопроса. Например, табличный вопрос можно представить в стандартном виде, как таблицу, а можно по drag-and-drop схеме.
Цветовое оформление и графические элементы анкеты и отдельных вопросов
Логотипы и пиктограммы, сопровождающие вопросы
 
Использование анимации: как для схемы формата вопроса (например, полевой или drag-and-drop), так и для справки, сопроводительных логотипов и т.д.;
 
Использование мультимедиа: аудио- и видеоэлементов
Под качеством данных мы понимали параметры, указываемые обычно в стандартных классификациях источников систематических ошибок, за исключением ошибки выборки, которая не является в данном случае анализируемым фактором (см. Табл. 2).
Таблица 2. Виды ошибок, допускаемых респондентами при заполнении анкеты
Параметр
Элементы основных парамеров
Ошибка «неответов» (non-response error)
Незавершенный опрос (partial non-response
 
Пропущенные вопросы (item non-response)1
Ошибка измерения (measurement error) как отклонение полученных ответов от их реального значения
Общие требования валидности и надежности
 
«Правдоподобие» ответов, в т.ч. выявление заведомо ложных данных, отсев спидсеттеров, заполняющих анкету аномально быстро.
Удовлетворенность пользователей и ее связь с ошибками неответов и измерения
Прямые оценки: на основе вопросов о том, насколько им понравился этот опрос (часто добавляют в конце опроса
 
Косвенные оценки, в т.ч. время, потраченное на опрос, число символов в ответах на открытые вопросы, ответы на необязательные вопросы
 
 
Примечание 1. В большинстве современных анкет, пропустив вопрос, нельзя перейти к следующему. Поэтому в данную категорию часто относят количество выбранных вариантов «затрудняюсь ответить», а также неприемлемых ответов (например, случайные буквенные сочетания вместо ответа на открытый вопрос).
Наиболее комплексный параметр из перечисленных выше – это удовлетворенность пользователя. Она прямо связана с остальными двумя критериями, а иногда и является существенной причиной их низкого уровня. Так, слишком длинный или монотонный опрос может привести к простому «пролистыванию» вопросов и заполнению их случайным образом. Мы полагаем, что достаточно одного подобного негативного опыта, чтобы в дальнейшем респондент был склонен вести себя схожим образом.

Дизайн исследования

В опросе принимали участие 432 жителя городов-миллионников в возрасте от 16 до 44 лет. При планировании исследования мы стремились получить оценку качества данных, полученных с использованием интерактивного инструментария и без него. Кроме того, важно было проводить экспериментальный опрос в «условиях, максимально близких к боевым», т.е. использовать не индивидуально запрограммированные в единственном экземпляре анкеты, а обычные, «взятые с конвейера». Работа с прямым программированием анкет не позволила бы обоснованно оценить трудоемкость создания опроса. Никакие преимущества в качестве данных или удовлетворенности респондентов не могли бы рассматриваться как значимые для улучшения схемы онлайн опросов, если бы они привели к отказу от их базовых преимуществ онлайн опросов – скорости проведения и низких цен.
В итоге, мы решили сравнить два вида анкет:
- стандартная, написанная на html, т.е. соответствующая «бумажному» аналогу;
- «flash опросник», позволяющий легко интегрировать любые графические и мультимедийные интерактивные элементы.
Первая модель (html) была реализована на одной из наиболее популярных в мире систем для онлайн опросов - Net-MR от компании GMI. Вторая — на собственной платформе для Flash опросов, которая была разработана автором статьи. Отметим, что система, разработанная нами, прошла к моменту тестирования более десятка коммерческих запусков для проведения маркетинговых исследований.
Кроме интерактивных элементов мы исследовали влияние присутствия в анкете логотипов и других изображений на качество данных. Дело в том, что в обычных оффлайн опросах изображения и логотипы принято использовать либо в виде отдельных карточек, либо в анкете, когда сами изображения являются частью инструментария или тестируемым объектом. Мы предполагаем, что присутствие изображений в веб-среде является «нормой», а потому их восприятие может быть иным в сравнении с бумажным вариантом.
Таким образом, в исследовании проводилось сравнение данных, полученных от четырех анкет, оформленных различным образом. Общая выборка была случайно разбита на четыре части с соблюдением равного представительства респондентов по полу и возрасту внутри групп. Респонденты из каждой группы (подвыборки) участвовали в опросе, выполненном по одной из следующих схем:
1. html без логотипов;
2. html с логотипами;
3. Flash без логотипов;
4. Flash с логотипами.
Качество данных и степень удовлетворенности респондентов, заполнивших анкеты, мы оценивали по следующим параметрам:
1.    Время заполнения анкеты в целом;
2.    Время заполнения контрольных вопросов (как открытых, так и закрытых);
3.   Успешность преодоления «ловушек» на внимательность чтения анкеты.
4. Число символов в открытых вопросах;
5. Количество выбранных вариантов ответов в вопросах с множественным выбором;
6. Прямые оценки удовлетворенности респондентов различными элементами анкеты, в т.ч.:
а   Графическим оформлением анкеты;
b.   Темой опроса;
c.    Длиной анкеты;
d.   Опросом в целом.

Основные результаты

Полученные нами данные свидетельствуют о том, что использование интерактивных элементов в сочетании с логотипами и изображениями уменьшает среднее время заполнение анкеты (рис. 1). При этом, чем больше интерактивных элементов, тем меньше время заполнения, несмотря на то, что страницы с flash-элементами и изображениями (логотипами) загружаются, в среднем, несколько дольше.
Рис. 1. Среднее время опроса, с
Влияние формы представления вопроса на качество данных мы проверяли, используя пять табличных вопросов: четыре из них были «классические», т.е. с возможностью выбора одного ответа в строке; еще один — с возможностью выбора нескольких ответов по каждому из объектов.
В html анкетах все таблицы были выполнены в традиционном виде, повторяющем «бумажный». Во Flash анкетах эти же вопросы задавались с использованием «перетаскивания» (drag-and-drop) элементов ответа или клика на них. Такая схема позволила нам сравнивать результаты одних и тех же по содержанию вопросов, но заданных в разной форме.
Как показали результаты дисперсионного анализа полученных в ходе эксперимента данных (см. Табл. 3), добавление интерактивных элементов в табличные вопросы с одним ответом в строке приводит к значимому снижению времени на ответ (F4,425 = 3,022; p = 0,018).
Таблица 3. Среднее время заполнения табличных вопросов с единственным ответом, с
Форма вопроса
Вопрос 1
Вопрос 2
Вопрос 3
Вопрос 4
html без логотипов
141
225
151
192
html с логотипами
158
124
166
73
Flash без логотипов
107
139
72
126
Flash с логотипами
130
172
72
127
При этом, повышение скорости заполнения анкеты не снижает концентрацию внимания респондентов. Этот вывод мы сделали, проанализировав результаты ответов на «вопросы-ловушки». Они были сформулированы так:
Это высказывание для проверки Вашего внимания. Пожалуйста, выберите для него вариант «Полностью согласен».
По результатам сравнения всех четырех подвыборок по тесту Краскела — Уоллиса значимых различий выявлено не было (р = 0,136).
Таблицы с множественным выбором – это, пожалуй, наиболее сложный для восприятия элемент. Могут ли логотипы и интерактивные элементы облегчить жизнь респонденту? Наши исследования показывают, что да, могут, но есть важные детали.
Как видно из Таблицы 4, появление логотипов существенно снижает время заполнения анкеты. Однако появление в анкете Flash-элементов не только не приводит к повышению скорости, но и уменьшает число ответов, которые дает респондент (напомним, в данном случае, их может быть несколько). Означает ли последнее ухудшение качества данных? На наш взгляд, не означает.
Панелисты, регулярно участвующие в опросах, постепенно приобретают опыт. Именно он и позволяет им быстро заполнять довольно объемные анкеты. В данном случае, они столкнулись с новой для себя моделью (оцениваемые бренды располагались в столбцах, а не строчках, как обычно). Здесь нельзя просто «пройтись по всем строкам», а необходимо выбирать и «перетаскивать» подходящие характеристики к некоторым брендам. То есть, заполнение анкеты требовало от респондентов большего, чем обычно внимания, а, значит, и качество получаемых данных, скорее всего, выше.  
Таблица 4. Показатели для табличного вопроса с возможностью множественных ответов
 
Среднее количество ответов
Среднее время, потраченное на вопрос в целом, с
Среднее время на один ответ, с
html без логотипов
26,91
167
8,0
html с логотипами
30,65
110
4,8
Flash без логотипов
17,87
185
13,7
Flash с логотипами
16,93
163
12,1
Для оценки уровня удовлетворенности респондентов мы использовали два открытых вопроса: один практически в самом начале, другой — в конце. Характерно, что ответы на первый вопрос не различались ни по длине среднего ответа (число символов), ни по времени, затрачиваемом на ответ. На расположенный в конце анкеты второй вопрос люди отвечали иначе. Во Flash опросах средняя длина ответов респондентов, по сравнению с html, увеличилась на 12-15%. Добавление изображений и логотипов также приводило к росту количества символов в ответе в среднем еще примерно на 5%.
С учетом того, что во всех четырех опросах присутствовал индикатор прохождения опроса и респонденты знали, что данный вопрос — заключительный, подобные результаты могут рассматриваться как один из способов оценки удовлетворенности от участия в опросе.
Респондентам задавались и прямые вопросы, касающиеся их впечатления от опроса. В духе проводимого эксперимента, они были заданы как в традиционной табличной форме, так и в виде интерактивного слайдера (число вариантов ответов в обоих случаях было одинаковым). Как следует из Рис. 2 интерактивность анкеты людям понравилась, а вот наличие логотипов мало повлияло на их оценки.
Рис. 2. Средний уровень удовлетворенности респондентов по прямым оценкам

Заключение

Полученные результаты в целом согласуются с нашими предположениями о повышении качества данных за счет использования в анкете интерактивных элементов. Их появление, как правило, приводило к значимому снижению времени заполнения анкеты. Более того, снижение времени происходило без потери качества по анализируемым критериям, а оценки удовлетворенности опросом оказались во Flash варианте значительно выше. Не столь однозначными оказались выводы по воздействию изображений и логотипов: здесь основной итог заключается в том, что это воздействие существует, и оно может проявляться как в положительную, так и в отрицательную с точки зрения качества данных сторону.
Полученные итоги отнюдь не означают, что все онлайн опросы должны быть переведены на Flash. Тем не менее, при относительно длинной анкете, использовании громоздких и сложных для респондента вопросов продуманное включение интерактивных элементов может способствовать повышению качества данных.
Автор: Сергей Некрасов, начальник отдела разработки новых продуктов.Online Market Intelligence (OMI)
Публикуется в сокращении. Полностью статья опубликована в сборнике «Онлайн исследования в России 2.0», М., 2010.
Тэги:

Кол-во просмотров: 9662

Автор: Research&Trends


Еще по теме

Россияне открывают новые бренды

Россияне открывают новые бренды

Итоги проекта «Любимые бренды россиян»

Россияне остались верны своим любимым брендам в условиях пандемии

Россияне остались верны своим любимым брендам в условиях пандемии

Ограничения не привели к изменению рейтингов

Ipsos: экология важна и во время пандемии

Ipsos: экология важна и во время пандемии

Жителей разных стран волнуют разные проблемы охраны окружающей среды

Уроки физкультуры и кибер турниры вместо привычных матчей

Уроки физкультуры и кибер турниры вместо привычных матчей

COVID-19: Что заменит живые спортивные трансляции?

Рынок путешествий: спасти и сохранить

Рынок путешествий: спасти и сохранить

Как COVID-19 повлияет на индустрию туризма