Зарубежные новости

Nielsen становится стратегическим партнером Medialab

Ранее эти две компании уже объединяли усилия для совместных проектов

Ретейлер предпочел Тойоту Фольксвагену Жуку

Представители ретейлера утверждают, что такой выбор не был результатом скандала в Фолькстваген

Бренды теряют доверие к Google

В результате недоработок многие клиенты совершили более дорогие покупки

Архив



Проверки на дорогах

Проверки на дорогах

Кто и как будет сертифицировать исследовательские компании

Проблема выбора подрядчика претендует на статус «вечных». Решить ее раз и навсегда невозможно даже для одной компании. В одних случаях работают с теми, кто «самый дешевый», в других – с проверенными партнерами, все зависит от ситуации, наличия бюджета, особенностей и важности конкретного заказа и т.д. Все это давно известно. И тем не менее, время от времени ситуация воспаляется. Вот лишь два из многочисленных примеров.

Грянул кризис, и заказчики придумали способ «сыграть на понижение»: начали устраивать аукционные торги. При этом молчаливо предполагается, что между «товаром» (в данном случае, услугой) исследовательских компаний нет никакой разницы. Как на бирже: нефть, зерно, металл тех или иных марок различимы только по цене. Но для того, чтобы убедиться в одинаковости биржевых товаров покупателю не нужен опыт их использования: существует развитая система стандартизации, включающая в себя целую цепочку процедур. Для услуг, в данном случае исследовательских, такой системы нет.
Другой пример. Барьер входа на исследовательский рынок выглядит удивительно низким: арендуй офис, нанимай персонал (или работай с аутсорсерами) и пиши предложения. Неважно, чем компания занималась до этого, важно по каким ценам она предлагает провести исследование. В последние несколько лет такого рода «социологи» буквально заполонили рынок маркетинговых исследований, особенно, в регионах. И в случае, если заказчик не обладает достаточной квалификацией, чтобы отличить «белое» от «серого», то выбор будет простой: по цене.
Делается ли что-нибудь в исследовательской отрасли для того, чтобы рынок стал более цивилизованным? На вопросы R&T отвечают Игорь Задорин, генеральный директор компании ЦИРКОН и Александр Шашкин, генеральной директор компании Online Market Intelligence (OMI).
R&T: Во многих отраслях проблема сертификации продукции или производства проблемой не является. Почему она возникла и до сих пор жива в социологии?
Игорь Задорин: В социологии эта проблема возникла сравнительно недавно, когда другие отрасли научились ее быстро и эффективно решать, в России это случилось в начале 90-х годов прошлого века. Именно в это время социология в нашей стране изменила статус, очень быстро превратившись из фундаментальной науки в прикладную, а затем и вообще в индустрию.
В качестве науки социология имела довольно ограниченный круг потребителей, знающих предмет и методы («носителей языка»). Эти люди были знакомы между собой и довольно хорошо разбирались «кто есть кто». Разногласия, естественно, возникающие время от времени, не мешали ощущению оппонента как человека своего круга. Таким образом, социологи знали друг друга (очень часто – лично), а потому не слишком нуждались в подтверждениях квалификации каких-либо внешних организаций.
Ситуация изменилась, когда вместе с выделением из науки социологии прикладного направления – в т.ч. маркетинговых исследований – в отрасли появились новые люди - «заказчики». По понятным причинам многие из них не могли, да и не должны были разбираться в методических тонкостях. Однако именно они платили деньги, а, значит, имели право знать о поставщике и его профессионализме как можно больше.
Ко всему прочему, материалы исследований перестали свободно перемещаться внутри отрасли. Получив гриф «коммерческая тайна», они стали закрытыми. Как же могли в этой ситуации новые люди узнать «кто есть кто»? Не будем также забывать, что сравнительно низкий барьер входа на новый рынок привлек много новых людей, не получивших профильного образования, и не имевших до этого опыта научно-социологической деятельности. Лишь часть из них смогла, действительно, стать широко известными профессионалами. В итоге, мы имеем в отрасли много «ларьков», продающих товар noname, причем, убедиться в качестве покупаемых «пирожков» можно только съев их. Естественно у потребителей возникло желание застраховаться от возможного «отравления».
R&T: Но с похожими проблемами сталкивались не только социологи - новые люди появились, практически, во всех отраслях, равно как и понятие коммерческой тайны. Почему, скажем, металлурги быстро решили эту проблему, а социологи до сих пор – нет?
ИЗ: Если бы размер отрасли маркетинговых исследований был хотя бы соизмерим с объемом рынка металлов, многое было бы по-другому. Сертификация продукции или производства – это отдельный инфраструктурный бизнес. Если в отрасли много денег, то есть место для разного рода инфраструктуры – например, рейтинговых агентств, сертификационных центров и т.п., если нет – то нет. Но дело, конечно, не только в этом.
Заметьте, у ресечеров практически нет внутриотраслевых измерений и исследований. Типовая ситуация сапожника без сапог. Рынок информационно закрыт и разобщен. На открытых рынках продукцию какой-либо компании могут видеть и оценить как вероятные клиенты, так и коллеги-профессионалы. В нашей отрасли даже очень квалифицированный заказчик, давно и много заказывающий исследования, может похвастать опытом взаимодействия с тремя или четырьмя исследовательскими агентствами. А что можно сказать о клиенте, только приходящем со своими задачами на социологический рынок? Да и сами прикладные социологи практически лишены возможности оценить друг друга – они очень плохо знают продукцию и технологии коллег-конкурентов. Сейчас в принципе не может быть единого центра, который был бы компетентен оценивать всех. Но, правда, есть возможность оценивать отдельные сегменты. Например, большая часть заказов на полевые работы приходит в регионы от крупных столичных компаний. Соответственно, выстраивается вертикаль «столица-регионы». Вот тут уже появляется возможность «взаимной оценки», которая, однако, всегда будет иметь достаточно узкий, «прикладной» характер.
Ассоциация региональных исследовательских агентств 7/89 с 2004 года проводит опросы, составляя рейтинг столичных компаний, т.е. исполнители оценивают заказчиков. Аналогичные исследования можно проводить и с обратной целью, когда заказчики оценивают исполнителей. И каждый раз за бортом такого рода рейтингов останется немало компаний, работающих, преимущественно, в формате полного цикла на локальном рынке своего региона. Не будут попадать в такие рейтинги и нишевые компании (их число все время растет), специализирующиеся на том или ином виде исследований.
В итоге, заказчики, как правило, руководствуются собственными представлениями о качестве работы той или иной компании, часто далекими от действительности, и рекомендациями друзей и партнеров, что уже лучше, но все же также неполно.
R&T: Но ведь можно привлечь независимого эксперта, который в состоянии дать оценку выполнения проекта? 
ИЗ: Привлечь можно, и случаи такие есть. Однако подобная практика не стала массовой. Конечно, сам факт привлечения заказчиком стороннего эксперта для контроля продукции основного исполнителя меняет стиль работы последнего в лучшую сторону. И это позитивно влияет на рынок, но только в том случае, если экспертиза проводится если не по каждому проекту, то по большому их числу. Потому что здесь важно иметь широкую базу для сравнения. Но это вряд ли возможно в условиях, когда заказчики стремятся сэкономить, буквально, каждую копейку.
В итоге, исследователи контролируют себя сами. Конечно, отдел технического контроля, проверяющий выходящую из цехов продукцию, есть на каждом заводе. Однако если заказчик хочет, чтобы была не только проверка, но и качество, вводится институт внешней приемки, чем, например, были в свое время заняты военпреды на оборонных заводах.
Увы, эта идея вряд ли может быть реализована на исследовательском рынке. Те же военпреды руководствуются отнюдь не собственными представлениями о качестве выпускаемой продукции, а многочисленными государственными, отраслевыми и заводскими стандартами, определяющими «что такое хорошо, и что такое плохо». А чем будут руководствоваться эксперты, кроме собственных представлений?
R&T: И примет ли эти представления во внимание суд в случае конфликта заказчика и исполнителя, которые, насколько я знаю, становятся довольно распространенным явлением?
ИЗ: В том-то и дело, что не примет. Порой доходит до абсурда: заказчик не может доказать в суде, что исполнитель откровенно схалтурил. То есть потребитель не может защитить свои права. Причина проста: работа суда заключается в том, чтобы определить был ли нарушен закон. А если нет закона, то нет и нарушений. Нет стандарта, критериев качества, нет и отступлений от них. Конечно, есть документы ESOMAR, но они носят очень общий, я бы сказал, «морально-нравственный» характер, а потому «их к делу не пришьешь».
Правда, есть Закон РФ №94 «О размещении заказов на поставки товаров, выполнение работ, оказание услуг для государственных и муниципальных нужд», но с точки зрения выполнения социологических и маркетинговых исследований он, скорее, мешает, чем помогает бороться с недобросовестными исполнителями. Этот закон, фактически, «коммодитизирует» исследовательскую деятельность, приравнивая ее к поставкам простых товаров (зерна, нефти, чугуна и т.п.), качество которых определяется соответствующими ГОСТами и ОСТами, поэтому заказчику остается лишь выбрать наиболее выгодное по цене предложение. Конечно, это дает большие возможности для демпинга, и соблазн сэкономить на качестве, когда оно фактически не может быть квалифицированно проверено, более чем велик.
R&T: Значит, нужен ГОСТ, регламентирующий исследовательские работы?
ИЗ: На мой взгляд, нужен, хотя в отрасли существует и противоположная точка зрения. Тут важна система мер, не только ГОСТы, и вообще не только стандарты. В «Уральском меморандуме» (обращение Ассоциации региональных социологических центров «Группа 7/89» к исследовательскому сообществу и органам власти) в числе прочего описан требуемый по мнению исследовательского сообщества комплекс мер по оздоровлению ситуации. Вот лишь некоторые из них:
  1. Распространение данных о потенциальных исполнителях работ, поддержание открытых баз данных профессиональных участников рынка, создание и развитие института профессиональной оценки (рейтингования) участников рынка социологических и маркетинговых исследований.
  2. Распространение (в том числе публикация в широкой печати) данных о стоимости проведения типовых исследовательских процедур.
  3. Коллективное и согласованное неучастие исследователей в сомнительных схемах размещения заказов (в частности, электронных аукционах, см. «Открытое письмо участникам исследовательского рынка, представителям компаний-заказчиков исследовательских услуг», принятое ОИРОМ).
  4. Распространение практики публикации отчетов об исследованиях, проведенных на деньги налогоплательщиков (с указанием сведений об исполнителе и основных параметрах проекта).
  5. Всемерное распространение практики верификации данных социологических исследований, в том числе внешней независимой экспертизы качества социологических исследований, выполненных в интересах государственных заказчиков.
R&T: Но, согласитесь, эти меры не имеют временных рамок, это лишь «направление», в то время как что-то конкретное надо делать здесь и сейчас. Что?
ИЗ: Не согласен, что это лишь «направление». Многое из сказанного уже делается. И многое планируется делать в ближайшее время. Прежде всего, на мой взгляд, надо расширять практику независимого аудита исследовательских работ. Причем, важно, чтобы проект проходил экспертизу не тогда, когда все закончено, и мало, что можно изменить, а в процессе работы. Можно выделить три ключевые точки, которые необходимо контролировать: утверждение программы и методики исследования, завершение сбора данных (до их обработки), приемка финального отчета.
Цель экспертизы – это ответ на три вопроса:
- действительно ли предполагаемая к использованию методика будет корректно измерять именно то, что предполагается измерить согласно ТЗ?
- действительно ли валидны данные измерений?
- корректно ли выполнен анализ данных и интерпретированы результаты (сделаны выводы)?
Кроме того, заканчивается подготовка документов для создания Технического Комитета по стандартизации в области прикладных социологических исследований. Этот орган профессионального сообщества вполне может стать площадкой, на которой уже в регулярном порядке обсуждались бы вопросы качества социологической продукции и разрабатывались бы меры по его повышению.
Многое еще можно делать. Важно, чтобы стремление к качеству продукции было бы общим стремлением всего профессионального сообщества и самих потребителей социологической и маркетинговой информации.

Сертификация невидимок

Область онлайн-исследований в последние несколько лет выделилась, фактически, в отдельную подотрасль. По данным ESOMAR (2009 г.), доля заказов, выполняемых с использованием онлайн-инструментария, составляет 22% и это самый высокий показатель (доля ближайшего «конкурента» - телефонных интервью – составляет 17%). Однако по мере роста популярности метода клиенты стали все чаще и чаще выражать сомнения относительно «целостности методологии» онлайн-исследований. Ни одной отраслевой конференции не обходится без дискуссий на тему «кризиса качества панельных данных». Собственно, ничего особенного клиенты не хотят – лишь иметь гарантии того, что получаемые с помощью онлайн-панелей данные можно использовать для принятия решений. То есть, несколько опросов на одну и ту же тему дадут одинаковые с точки зрения статистической значимости результаты. А это значит, что нужны какие-то процедуры, позволяющие сравнивать панели разных онлайн-провайдеров. Фактически, это означает, что надо проводить их сертификацию. О том, каково сегодня состояние отрасли, рассказывает R&T Александр Шашкин (OMI).
R&T: У сегодняшних заказчиков онлайн-исследований есть выбор. Но как можно сравнить панели разных исследовательских компаний, если респондентов принципиально нельзя увидеть?
Александр Шашкин: Начну с того, что заказчики нередко не видят респондентов и при традиционных количественных опросах face-to-face. Их видят интервьюеры подрядчика, его же супервайзеры… Скажу больше, в случае с онлайн-панелями у заказчика даже больше шансов убедиться в корректности проведения исследованиями, чем в обычных оффлайновых опросах. Панелью надо управлять, «содержать ее в порядке» и процедуры, которые использует для этого провайдер, вполне поддаются контролю.
Несколько лет назад ESOMAR разработал даже памятку для заказчика, она называется «25 questions to help research buyers of online samples», в 2009 году появился еще один вопрос, так что документ сегодня называется «26 questions…». Вопросы разбиты на группы, касающиеся методов управления панелью, способов контроля за правильностью заполнения анкет и т.п. По сути, заказчик может, задав эти вопросы потенциальному исполнителю, провести его сертификацию самостоятельно.
R&T: Безусловно, это полезный документ, однако не всегда у заказчика есть время и желание заниматься такого рода «сертификацией». Кроме того, он должен верить своему контрагенту на слово. Есть ли иные способы контроля?
АШ: Они создаются. Например, выпущены два документа ISO 20252:2006 «Market, opinion and social research -- Vocabulary and service requirements», касающийся отрасли маркетинговых исследований в целом и ISO 26362:2009 «Access panels in market, opinion and social research -- Vocabulary and service requirements», регламентирующий непосредственно область онлайн-исследований. Они приняты Росстандартом, однако мне неизвестны российские компании, которые были бы сертифицированы по ним. Это весьма недешевое удовольствие. Скажем, сертификацией российских онлайн-провайдеров занимается компания, расположенная… в Австралии. Эксперты ISO поделили глобус именно таким образом. По-видимому, свою роль сыграло и то, что Австралия занимает лидирующие позиции в мире по доле онлайн-исследований. Следовательно, там есть и клиенты у сертификационного центра. Стоимость такой сертификации составляет порядка $100 тыс.
R&T: Дешевле не получится?
АШ: Может получиться, если несколько сузить область и не называть эти процедуры сертификацией, имея, впрочем, в виду главную цель – дать заказчикам объективное представление о качестве онлайн-панели. Вот уже несколько лет подряд компания Mktg, Inc (США) проводит сравнительные «исследования исследователей». Каждый год проводится четыре волны. Модель проста: Mktg, Inc выбирают несколько панелей, принадлежащих разным компаниям, и проводят опрос по одной и той же теме. Затем результаты сравниваются. Выводы о качестве той или иной панели можно сделать на основании стабильности «попадания в средние значения». При этом сами онлайн-провайдеры не имеет возможности как-то влиять на результат, они лишь рассылают анкету (да и средние значения им неизвестны). Стоимость участия в таких исследованиях составляет для владельцев панелей несколько тысяч долларов. В России компания Mktg, Inc выбрала для анализа семь панелей, одна из которых принадлежит OMI.
R&T: По каким параметрам проводится сравнение?
АШ: Их немало. Это, например, демографические и поведенческие характеристики панели. В число последних входят доли так называемых Speeders и Straight-Liners, т.е. респондентов, заполняющих анкеты аномально быстро и располагающих флажки в таблицах подозрительно «линейно». Оценивается и доля откликов (response rate), характеризующая активность респондентов и, конечно, сами результаты опросов. Понятно, что данные ответы респондентов, входящих в разные панели на одни и те же вопросы должны давать близкие ответы. Критерием их «истинности», повторюсь, выступает попадание в средний интервал – для этого и необходимо участие в проекте нескольких панелей.
Если панель «попадает в интервал» в течение нескольких волн подряд, то ей присваивают сертификат: бронзовый, серебряный или золотой в зависимости от числа успешно пройденных этапов (волн). По итогам замеров 2010 года OMI был присвоен серебряный сертификат. Мы участвовали в проекте в течение 2 лет, так что пока это максимально возможный для нас результат.  
Тэги:

Кол-во просмотров: 2695



Еще по теме

"Надо уметь понимать и цифры, и людей..."

"Надо уметь понимать и цифры, и людей..."

В чем особенности работы директора по PR исследовательской компании

«Прежде всего, это было желание реализовать свою идею…»

«Прежде всего, это было желание реализовать свою идею…»

С какими проблемами сталкивается сегодня основатель новой исследовательской компании

Методы проб без ошибок

Методы проб без ошибок

Берндт Шуберт рассказывает о последних тенденциях сенсорных исследований

«Каждый третий посетитель среднестатистического сайта никогда ничего там не купит…»

«Каждый третий посетитель среднестатистического сайта никогда ничего там не купит…»

О структуре трафика Рунета и о людях, делающих его таким, каким он стал

К успеху ведет много дорог

К успеху ведет много дорог

Как продать свой продукт маркетологам