VII СОЦИОЛОГИЧЕСКАЯ ГРУШИНСКАЯ КОНФЕРЕНЦИЯ

Секция 21 «Новые методы и перспективные технологии исследований»

Материалы секции

Презентации Видеозапись Аудиозапись Стенограмма Фотоотчет

Видеоотчет:

Стенограмма:

Модератор: Пять спикеров. Каждый из них – это шедевр, поэтому буду представлять по очереди. Вы сделали совершенно правильный выбор, что пришли сюда. Я уверен, что наша секция вас не разочарует. Главное, что это практически ориентированные вопросы, которые связаны с бизнесом, маркетинговыми исследованиями. Первым хочу представить Михаила Дымшица с рассказом о Микс-панели.

Эксперт 1: Сам по себе подход того, о чем я хочу рассказать, известен достаточно давно. Первые исследования единой панели прошли в конце 60-х годов. Теория эффективной частоты, которую знают рекламисты, которые знают, как слово, но мало кто знает ее реальное содержание. Они были сформулированы на данных единой панели, когда люди фиксировали все свои покупки, а также фиксировалось их медиа-потребление. Тогда была сформулирована теория о том, что если человек за цикл покупки товаров повседневного спроса имеет 3 или более контактов с рекламой, то у него растет предпочтение этого бренда. Но из-за достаточно большой технической сложности, связанной с такой обработкой массивов данных и, в том числе, связанных с эстетическими проблемами, связанными с тем, что количество покупок конкретного бренда за неделю иди даже за месяц оно незначительно. Были еще 2 панели, которые существовали. При том, что Нильсон лет 6-7 назад попытался запустить единую панель и, из-за стратегических ограничений прекратил это в течение года. В итоге, они не стали стандартом рынка. На сегодняшний день большая часть маркетинговых исследований обращается к памяти респондента делают ли они это, как часто, где они это купили, какого бренда, какой был объем покупки – все то, что обычно спрашиваем в подобного рода исследованиях. Здесь мы сталкиваемся с ограничениями памяти. При опросах существует огромное количество технических ошибок. В частности, задавать вопрос: «Как часто вы покупали вареную колбасу за последние полгода?» - Это глупо. Потому что те покупки, которые мы совершали сейчас, мы помним правильно или более-менее корректно. Но большую часть, которую мы получаем при подобных исследованиях – они очень близко к реальным показателям продаж. Но это такая близость, как первый закон бухгалтерского отчета. Если бухгалтерский отчет не сходится, то в нем одна ошибка, а если сошелся, то 2. Одни люди завышают свое поведение, другие – занижают, но в среднем получается все очень близко к правде, если мы предъявляем требование к их памяти за периоды про события, о которых они действительно могут помнить. Когда мы сравниваем данные из разных источников, всегда есть проблема, связанная с тем, что покупки распределены неравномерно между покупателями на одном цикле покупки, тем более они неравномерно распределены за несколько циклов покупки. У людей есть представление о том, как они себя ведут типично, но в каждом конкретном магазине они ведут себя нетипично. Двух одинаковых чеков в магазине нет. Большая часть информации, которая получается в Биг дате – это артефакты, содержащие третий параметр, который не анализируется. Мы, в свое время взяли несколько тысяч чеков из Библио-глобуса. Интуитивно понятно, что, если человек предпочитает одного автора, то есть некое предположение, что он будет предпочитать еще какого-то. Но даже на 7 тыс. покупках мы 2 одинаковых чеков не увидели. А если посмотреть, то сочетание различных книг в чеках носило случайных характер. Если мы анализируем, что человек читал за длительный период, тогда можно увидеть некоторые совпадения. Ленинградские исследователи опубликовали по анализу формуляров, что брали в ленинградских библиотеках люди. Там предпочтения учителей, врачей и уборщиц были очень близки, представители силовых ведомств находились в большом разрыве от всех остальных. Российская интеллигенция обиделась на это, но это объясняет почему зарплата учителей и врачей не сильно отличается от зарплат уборщиц. Статистически это, к сожалению, верно. На сегодняшний день мы знаем, что чем точнее медийные данные, тем меньше они содержат потребительских характеристик. Медийные данные собирать достаточно долго. Если это мультимедийные данные, то это совсем изнурительно. Медиа-планирование по потребительским данным содержит информацию, там могут быть ошибки с точностью до бюджета. В одних каналах это меньше выражено. Измерение телевидения у нас началось с 95 года и где-то до 2010 года говорить о том, что разные группы смотрели разные каналы было неверно. Все было в пределах ошибок. Сейчас на долю лидирующего канала стало 12% и мы видим, что разные возрастные группы действительно смотрят разные каналы. А если вводится еще потребительская характеристика, то там становится совсем другая динамика. И это вопрос с точностью до бюджета. При анализе эффективности маркетинговой коммуникации чаще всего используется логика «после этого, значит поэтому», но, как правило, игнорируется множество промежуточных переменных, которые могут влиять и могут демонстрировать, как эффективность, так и неэффективность рекламной компании. Единая панель, в которой на сегодняшний день содержится информация о 12 тыс. домохозяйств и около 3 тыс. домохозяйств имеет в смартфонах подслушивающие устройства. Оно не то, чтобы подслушивает людей, оно просто ловит сигнал сигнатуры, которые включены в поток или по звуковому короткому файлу, который записывается несколько секунд каждые 10 минут. Он определяет какой телеканал человек смотрит, какую радиостанцию слушает. На рынке идет параллельная запись эфира для того, чтобы эти сигнатуры получать. Оказалось, что эти несколько секунд создает уникальную звуковую сигнатуру, которую можно не узнать, но перепутать нельзя. Это позволяет нам четко идентифицировать как домашнее, так и не домашний просмотр, и прослушивание теле и радио. Когда регистрируются покупки, то регистрируется не только факт покупки, но и где она была совершена. Типичный анализ рекламной компании на сегодняшний день в лучшем случае выглядит так. Мы можем, глядя на этот график, говорить о том, что вроде бы на фоне рекламной компании действительно менялось потребление потребителями, но говорить, что это было связано именно с рекламой, мы на основе этих данных однозначно говорить не можем, потому что тут не хватает данных о дистрибьюции. Потому что изменение поведения во многом определяется доступностью товара, а не того, что было причиной. Вот тут идет рост продаж, вот это ширина дистрибьюции. Вот тут вы видите, что при одной и той же поставке точек продаже почему-то одинаковы. Просто синие точки – это без рекламной компании, а красные точки – это на фоне рекламной компании. На фоне рекламной компании шел рост оборачиваемости. Эти эффекты дистрибьюции, как правило, игнорируются, но они влияют на предпочтение брендов гораздо сильнее, чем любая рекламная компания, т.е., чем в большем количестве магазинов представляется товар, тем больше покупателей его покупает, потому что это нелинейно. Все данные в единой панели собираются одновременно при том, что люди участвуют в единой панели долго. Это создает небольшое преимущество для анализа. Глядя на эти данные, мы понимаем, что большинство полученных данных о потребителе оказываются ложными, но однозначное определение, что действительно именно те люди, которые имели рекламные контакты, у них действительно изменилось потребительское поведение, мы можем получить только на единой панели. Для российского рынка эта ситуация уникальна тем, что у нас не сегодняшний день очень малое предложение рынка. Но выбор в 30 тыс. человек уже дает большому количеству брендов большое количество людей, которые его покупают. И даже пересечение покупок имеет для аудитории пересечение медиа-событий, а средний рейтинг прайм-тайм рекламного блока составляет всего 1%. Но если мы агрегируем данные за большие периоды, то вещи, связанные с небольшим количеством событий, позволяют достаточно достоверно это определять. Мы можем смотреть данные даже посуточно более точно. В таком случае мы видим все гораздо лучше. В единой панели у нас есть люди, семьи, домохозяйства. Напомню, что семья и домохозяйства – это разные объекты. Там содержатся товары и услуги СКЮ, магазины и другие точки ритейлы.  В отчетных формах на сегодняшний день можно видеть все показатели географически, но позволяют нам анализировать в том числе возможности эффектов, связанных с рекламой. На фоне рекламы мы видим, что происходит на рынке Кока-кола. Оказывается, что даже во время рекламной компании 57% людей не видели рекламу и не купили, видели рекламу 27%, но прирост покупок за счет рекламного контакта только 3%. То есть, видело много людей, но из-за того, что есть люди, которые покупают без рекламы, реально прирост покупок за счет рекламы 3%. Возникает вопрос – а кто эти люди? Прирост есть, но за счет чего он происходит. Реклама привлекла новых или повлияла на тех, кто и так покупает, меняя их цикл покупки? На самом деле реклама влияет на тех, кто уже купил и привлечение новых покупателей на фоне рекламной компании происходит гораздо реже. Вообще, привлечение новых покупателей – это некая постоянная, на которую мы можем влиять только увеличением дистрибьюции. На фоне рекламной компании мы видим прежде всего увеличение высоты покупки, уменьшение цикла покупки для тех, кто рекламируется. Вот тут синяя группа – это те, кто совершал повторные покупки, а красная линия это те, кто не покупал товар в течение 6 месяцев до этой покупки. Тут стоит вопрос о том, кого мы вообще можем считать покупателями регулярными или не регулярными. Если цикл покупки 3-4 недели, то тот, кто не покупал в течение 10 недель уже не считается покупателем. Если он купил на 11, то мы его не рассматриваем, как нового. Вот тут 2 слайда рекламной компании. На фоне первой рекламной компании упали все продажи, а потом в самом конце только выросли. Во время рекламной компании товарный запас в магазине был настолько мал, что он был выбран на старте рекламной компании, но рекламный эффект накопился и, когда товар был поставлен, то купили все – и те, кто не покупал. Но дальше все вернулось на свои места. В случае второй рекламной компании виден рост. Потому что за предыдущую рекламную компанию все были наказаны, а накануне следующей расширили дистрибьюцию и, когда пошла рекламная компания был большой рост. Но, как вы видите, опять произошло падение, потому что товар опять кончился. Вопрос в том, что вы будете делать, если ваша рекламная компания не дай Бог окажется эффективной, достаточно актуален, потому что каналы дистрибьюции очень инертные. Когда есть все данные и мы видим где сколько и как покупают, то мы понимаем, чем заниматься на фоне рекламной компании и менять данные. Данные которые я вам показываю – это данные панели Рамира. Она существует много лет, но как в единую панель данные собираются с сентября прошлого года. На сегодняшний день там накоплено достаточно большая динамика, при том, что имеющиеся данные – это медиаданные, которые собираются постоянно устройствами на смартфоне. Это не периодические опросы, как в других компаниях, которые не точны. В данном случае по дистрибьюции мы видим только те магазины, в которых люди покупают. Что там в магазине, мы конечно не знаем. Мы можем исходить из предположения, что, если в каком-то магазине покупали, а потом перестали, значит в этом магазине товар кончился. Потому что измерение складского запаса дело неблагодарное. Там видно, что до рекламной компании распределение покупок внутри недели имеет некий цикл, идет нарастание покупок. На фоне рекламной компании продажи к среде достигают уровня воскресенья предыдущей недели, а потом уходят в ноль. Глядя на такой график, я позволю себе сделать вывод, что товар в магазине просто кончился. Дело в том, что в сетях, в автоматах стоят сглаживатели. Это большая проблема, она касается не многих, потому что большинство рекламных компаний не имеют никакого эффекта. Я тут подобрал рекламные компании, которые имели выраженный эффект. Но реально отслеживать отгрузку в сети на фоне эффективной рекламной компании практически невозможно. Имеет значение сколько магазинов имеют данный товар и каков товарный запас. График, который я показывал по влиянию дистрибьюции на продажи, он е квадратичный или даже ближе к экспоненте. Он говорит о том, что оборачиваемость товара на полке определяется представленностью этого товара в магазине вокруг анализируемого магазина. Потому что, если бы мы просто исследовали оборачиваемость товара в магазине, тогда зависимость была бы линейной, просто бы умножали на количество магазинов. Мы видим, что при увеличении количества магазинов, увеличивается оборачиваемость в каждом.

Модератор: Огромное спасибо, Михаил.  Просто будет возможность в кулуарах спросить. Хочу представить следующего спикера – Вера Петрова, ведущий специалист Юэксрауд точка ру. Тема доклада: «Изобилити тестирование за час. Как это возможно».

Эксперт 2: Для начала расскажу, что такое Юэксрауд. Это аутсорсинговая площадка, где можно проводить удаленные изобилити тестирования. Она основана на основах краудсорсинга. Это значит, что там есть зарегистрированные пользователи – это просто обычные пользователи, которые хотят принимать участие в изобилити тестировании. Также туда приходят площадки и владельцы сервисов, которым нужно узнать насколько их сервис вообще удален для пользователей или получить какие-то инсайты на своем сервисе. Когда тестировщики получают задание, они его выполняют при помощи специальной программы, которая пишет их экран и голос, т.е., что они говорят во время выполнения теста. Голос нужен затем, что благодаря этому мы понимаем, зачем они совершают те или иные действия. Посмотреть, что делает человек на сайте можно и при помощи визер-яндекс, но, при этом вы не поймете почему он это сделал. А когда он это откомментировал голосом, тогда становится понятно, почему он сделал ту или иную операцию. Изобилити – это удобство использования. Самый простой пример. Мы все регистрировались на эту конференцию и насколько вам было удобно заполнить форму регистрации – это есть изобилити, т.е. все ли справились с этим с первого раза или вы забыли заполнить какое-то поле или заполнили его неправильно. Все эти ошибки – это есть изобилити. Я уже описала, что в Юэксрауд регистрируются клиенты, они создают задание для пользователей. Задания основаны на бизнес-кейсах. Например, сайт интернет-магазина, в бизнес-кейсе воспроизводится реальная ситуация, как человек ведет себя в электронном магазине. Он заходит, ищет товар, выбирает товар по определенным категориям, после этого он кладет его в корзину и оформляет покупку. Эти бизнес-кейсы и воспроизводятся во время тестирования. Далее смотрится, как человек с этими заданиями справляется. Тестирование мы делали для сайта Дождя, телеканала. У них есть веб-сайт, через который они теперь вещают. У нас было 5 пользователей, 10 заданий и 1 видеозапись в среднем длилась 20 минут. Все поля мы получили за 4 часа. Стоимость таких видео была 3 тыс. рублей. Параметры целевой аудитории выбираются на сайте. В этом случае Дождь сам сказал какая целевая аудитория у него должна быть. Это должны были быть мужчины и женщины, образование высшее/неполное высшее и доход от 30 тыс., возраст 18+. В результате изобилити тестирования мы получили обратную связь от пользователей, получили интересные качественные сайты относительно того, что они делают на сайте дождя, также мы выявили узкие места сайта. Основная проблема, которая волновала сайт Дождь – это почему не подписываются и есть ли какие-то проблемы в процессе подписки. Тут показано сколько людей справились с заданием по каждой из задач. Вот тут половина людей не смогли задачу выполнить, узнать стоимость и состав подписки. В следующем над ним, там 3 человека не справилось, там нужно было узнать способ оплаты подписки. Это были самые проблемные зоны на этом сайте. Но, если посмотреть в общем на эти задачи, то они все выполнялись с ошибками. Вот эта желтая часть – это те люди, которые справились с заданием, но с ошибками, а зеленые – это те, которым было просто выполнить задание. Первая проблема – это навигация и логика на сайте. На сайте есть раздел прямой эфир, в который можно зайти и там есть пример прямого эфира, который идет без звука, а рядом можно выбрать себе подписку и купить ее, чтобы посмотреть прямой эфир со звуком. В этом разделе про подписку ничего не рассказывается, там нет описания, что входит в подписку, какие она преимущества дает. Там просто есть цена. Если нажать на кнопку «купить», то сразу попадаешь на форму оплаты. Тебе предлагают что-то купить, но непонятно что именно. На самом деле описание подписки можно узнать, но для этого надо пойти совсем в другой раздел, он находится под кнопкой «подписаться». Это следующая проблема. Только там можно найти информацию о всех подписках. Кнопку «Подписаться» тоже не видели, вернее она не работает. Она вроде большая, розовая, вроде ее должно быть видно, но при этом все люди шли в магазин. Если они потом находили «подписаться», то они говорили, что думали, что это подписка на новостную рассылку, а не на прямой эфир. Часть людей ее просто не заметили, потому что в их зоне внимания был черный квадрат – эфир и все, что вокруг, а что в шапке они не смотрели. Они смотрели рядом с квадратом или в меню. Все шли в магазин и там ничего не находили. Инсайт, который мы обнаружили во время этого тестирования – все пользователи на первом задании говорили, что это обычный новостной сайт, они узнавали, что это Дождь, но говорили, что это просто новости. Проблема была в том, что на главной странице дизайн сделан в виде газеты, во-вторых на второй странице все дано вперемешку, платные, бесплатные новости, какие-то аналитические статьи, за сегодня, за прошлый месяц – они все свалены в кучу. Поэтому понять, что это не просто новости, а там есть еще какой-то интересный уникальный контент, который можно прочитать только на дожде, очень сложно. С этим почти никто не справился. Все люди сочли, что раз это обычные новости, то это можно посмотреть на любом другом новостном сайте бесплатно, незачем это смотреть здесь и покупать что-то. Этот инсайт подтверждается обратной связью от пользователей. Мы их спрашивали купили бы они подписку на дожде, почему да или нет? Все говорили, что нет и обосновывали это тем, что новости же бесплатные, есть куча сайтов, на которых можно не платить. Небольшая часть людей отметила, что нет пробного периода и покупать что-то, не попробовав тоже не хочется. Это как раз связано с тем, что непонятно, что предлагает дождь, и хочет это попробовать, прежде чем купить. Также эфир показывается без звука, поэтому в прямом эфире непонятно, что идет. Далее я хотела бы показать видео, как это выглядит на сайте. То, что вы видите – это экран тестировщика. Они выполняют пробное задание, на нем они тренируются, комментируют свои мысли вслух. Мы даем им пробный тест, чтобы они поняли, что от них требуется, если у них что-то не получается, то они переделывают. Но когда они делают настоящие тесты, то они все подробно комментируют почему делают то или иное действие, что им нравится, а что нет. Когда мы тестируем ошибки интерфейса, даже если это игра, всегда придет туда какой-то человек, который там будет в первый раз. Как он разберется с интерфейсом? У нас был вопрос о нецелевой аудитории. Приводился пример магазина Пони, что если человек хочет купить, то он купит и разберется на сайте. Но если вы приходите на сайт, который, как вы думаете продает пони, а это зоопарк, то даже если вы захотите там купить пони, то вы его там не купите. Поэтому в данном случае мы смотрим ошибки интерфейса. Нильсон в свое время составил график, на котором он показал зависимость количества пользователей и сколько они найдут проблем интерфейса. 5 пользователей находят 80 проблем интерфейса. Этого уже достаточно. Мы не мнения их спрашиваем. Если спрашивать их мнения, тогда имеет смысл сделать количество тестируемым больше, а если мы ищем ошибки, то они не могут притвориться, что они сделали правильно. Вот слайд, на котором показана кривая Нильсона. В данном случае найти ошибки интерфейса. Критичность ошибок мы определяем постфактум. Мы не измеряем процент. При более сложном интерфейсе мы берем больше пользователей и делим их на несколько групп, потому что один человек не может протестировать огромный интерфейс, например, личного кабинета в интернет-банке, потому что это уже будет 2 часа.

Модератор: Дело в том, что Изобилити тестирование – это интересная область, которую ресерчеры проморгали полностью. Они полностью проигнорировали тестирование интерфейса. Здесь мы имеем дело с неким фактом, что люди так тестируют интерфейс. Мы можем это критиковать, но тут как факт, что небольшие исследование делается про помощи выборок. Я всегда думал, что это профессиональные тестировщики. А это не профессиональные тестировщики.

Эксперт 2: Да. И в этом вся идея краудсорсинга, потому что, когда вы пользуетесь сайтом, вы тоже не профессиональный тестировщик. Если это будет тестировать профессиональный человек, то он часть проблем не заметит, потому что он знает, как их избегать. У нас есть несколько типов тестов. Коммерческий тест до 30 минут стоит 100 рублей, маленький тест на 3 вопроса стоит 50 рублей. Это для тестировщика – это его зарплата. В тестировщиках у нас совершенно разная аудитория. Все, что говорится голосом, записывается, либо то может делать сам клиент. У нас сервис полностью автономный. Вы можете сами зайти, заказать себе тестирование, сами потом послушать свои видеозаписи и сделать выводы. Можете попросить нас послушать и построить отчет. Но изначально сервис был настроен на то, чтобы ним можно было пользоваться самостоятельно. Сейчас у нас 1 тыс. регистраций тех, кто заполнил профиль. Но они постоянно ротируются, кому-то надоедает, и он перестает это делать. То тестирование, которое мы проводили с Дождем в рамках партнерских отношений. После получения результатов мы ждем пока они введут изменения, и мы сделаем повторное тестирование, и посмотрим, как изменилась конверсия. Тестировщики проговаривают на тестировании проговаривают свои действия, мы не заставляем их что-то придумывать. Они проговаривают не все свои действия. Они проговаривают то, где им было удобно и почему или где неудобно, и они не могут понять, как и что.  Но каждый клик они не проговаривают. Но если вся запись без голоса, тогда эта запись считается некачественной и такому тестировщику эта запись на засчитывается. Для оценки тестирования мы записываем голос тестировщика и экран его компьютера. У нас есть данные, что после изобилити тестирования конверсия на сайтах росла, соответственно, это работает. У нас можно выбрать и 28 тестировщиков, у нас нет ограничения. Просто если тестирование интерфейса уложится в 10 вопросов, то вам достаточно 5 тестировщиков, а если у вас 25 задач, то вам придется брать уже больше, потому что вы одного человека не сможете прогнать по всему приложению. Если вы заказываете нам, то мы вам готовим программу, в которой все учитываем.

Модератор: Мы позвали Веру с этим докладом, потому что это большое движение. Я бы попробовал применить ту научный подход, которым мы так гордимся. Это существует, и мы хотели бы, чтобы вы про это узнали. Сейчас хочу представить своих коллег из компании ОMI. Это Ольга Стрелкова, Дарья Полежаева. Они сделают доклад и ответят на открытые вопросы в формате видео «Новые перспективы онлайн-опроса».

Эксперт 3: Уже 30% респондентов заполняют анкету с мобильного устройства. При этом большинство анкет содержит открытые вопросы. Они позволяют нам получить новую информацию о респонденте. Но печатать с мобильных устройств достаточно неудобно. В целях экономии времени респонденты отвечают достаточно односложно. Увеличение открытых вопросов в анкете приводит к тому, что увеличивается количество тех респондентов, которые бросают анкету, они просто устают печатать и у них пропадает интерес к такой длинной анкете. Мы предлагаем решение – использование видео-ответов, когда респондент свой ответ на вопрос анкеты записывает на видео. В рамках эксперимента мы в анкету добавили вопросы, ответы на которые он должен был записать на видео. Для исследования мы опросили мужчин и женщин от 18 до 54 лет, которые проживают в городах 100 000+. Исследование было проведено по собственной панели OMI. По итогам исследования мы получили 180 результативных анкет, тех, кто согласился свой ответ записать на видео. 40% готовы записывать ответ на видео. На этом слайде вы видите пример экрана, который видел респондент, тут есть кнопка «включить камеру», он может перезаписать свой ответ, и респондент видит себя, когда он дает ответ. Хочу показать вам пример реального видео-ответа. Оказывается, что женщины реже соглашаются записывать свой ответ на видео. Женщины 36%, а мужчин 43%. Изначально мы предполагали другое. Что касается возраста и населенного пункта, то здесь мы различий не увидели. Если респондент записал свой ответ на видео – это не означает, что это видео содержит какой-то смысловой контент. 58% включает камеру, записывают свой ответ на вопрос, а 42% просто включают камеру и молчат. Они не говорят о том, что они затрудняются ответить, а просто молчат. Что касается сравнения открытого ответа и ответа, который записан на видео. Ответ на видео более подробный и среднее время, которое респондент проводит на страничке видео-ответа тоже больше, чем время, которое он проводит на странице с открытым ответом. Был вопрос какой банк он считает основным, потом вопрос готов ли он его сменить. И, в зависимости от его ответа, мы спрашивали почему, что ему нравится или не нравится. Каждый третий респондент проходит опрос на тему телефона и планшета. Что касается сравнения десктопа и мобильного. С мобильного больше готовы записывать видео, чем с десктопа. Мы предполагали, что видео-ответ будет более подробным, чем открытый ответ. Но мы не предполагали, что даже на десктопе видео-ответ более подробный, чем на мобильном. Мы анализировали видео на предмет тех параметров, которые мы можем там увидеть. Это не всегда важно, но в некоторых исследованиях это может иметь значение. Например, при опросе по косметике и т.д. Следующие параметры – это поза и интонация, которые больше отражают эмоциональное состояние респондента, насколько ему комфортно заполнять опрос, насколько ему комфортно отвечать на эту тему и насколько его трогает тот вопрос, который вы ему задаете. Мы спросили респондентов, что бы они выбрали – заполнение видео-ответов или открытый ответ. 20% выбрали бы видео-ответ. Респондентам отвечать было удобно и понравилось. Однако есть причины, по которым респондентам не хотелось ба заполнять видео-ответ. Например, когда респонденты хотели бы остаться более обезличенными, кому-то не хочется показывать свое лицо, кто-то считает, что он плохо выглядит, кому-то не всегда удобно говорить, потому что он не один, у кого-то технические трудности и он не знает, как включить камеру, у кого-то долго грузится видео, кому-то проще напечатать, чем сказать и кто-то просто не видит смысла в том, чтобы записывать видео. Мы предлагаем решение. Что касается внешности, то можно предложить аудио ответ, хотя некоторые зарубежные исследования показывают, что это не дает особого прироста. Если респонденту неудобно отвечать, то респонденту может высылаться отдельная ссылка на видео вопросы, он отвечал и потом этот видео вопрос подгружался. Что касается тех, кто не видит смысла или им проще напечатать или у них технические трудности. Не хочется терять возможность для более глубокого анализа, поэтому мы предоставляли им выбор между открытым ответом и видео ответом. Что касается времени загрузки видео – эта проблема от нас не зависит, здесь также можно предоставить традиционный открытый вопрос. Какие мы видим перспективы видео ответов. Это удобно заполнять с мобильных устройств. Помимо текстовой информации, мы получаем информацию для более глубокого анализа – это обстановка, одежда. Также мы можем дать респонденту задание показать, как он, например, открывает плитку шоколада. В некоторых исследованиях это может быть очень важно. Для большинства людей сейчас обмениваться в формате видео не составляет труда. Они выкладывают себя в формате видео в социальные сети. Поэтому мы считаем, что нужно идти в ногу со временем и использовать новые технологии.

Эксперт 4: Мы проанализировали тех людей, которые отправляли с мобильного анкету, и тех, которые заполняли с компьютера анкету. И сравнили их ответы, сколько % готовы отвечать с помощью видео, а также сколько знаков они могут напечатать в открытом вопросе. Просто в анкете помимо вопросов с видео был еще просто открытый вопрос. Мы сравнили данные по открытому вопросу, сколько было знаков у респондента и сколько информации с видео вопросом. Бывают такие респонденты, которые описывают свои ситуации, например, была женщина, которая описывала свой поход в банк и проблему, с которой она столкнулась. На видео гораздо легче записать более развернутый ответ и рассказать целую историю, то, что не будешь записывать в открытом вопросе. В конце опроса мы задавали вопрос среди тех, кто отвечал на эту анкету, какой вид опроса они бы предпочли – традиционный открытый или видео. Мы доработали свою программу для программирования анкет. Сверху записывается вопрос на экране, далее респонденту предлагается включить видео и включить запись. Он нажимает на кнопку «включить запись», начинается запись видео, он видит себя на экране. Затем нажимает «остановить» и может либо подгрузить видео, либо, если ему что-то не понравилось, отказаться от этого и перезаписать видео. Анализируем видео мы с помощью транскрипта пока вручную, но мы планируем делать это машинным способом. Важно то, что видео дает качественные данные.

Модератор: Тут не задачи эффективность знака. Тут задача в том, чтобы ответ был содержательным. Мы затеяли следующий этап эксперимента, что надо закодировать открытые письменные и открытые видео и посмотреть есть ли там разница.

Мужчина 2: В ходе тестирования задавали ли вы аудио вопрос? И в ходе исследования у вас получилось более 50% ответивших на видео – это всего около 100 человек. Считаете ли вы, что это недостаточно обоснованно с такими данными делать выводы?

Эксперт 4: По поводу аудио. Мы ознакомились с опытом некоторых зарубежных компаний, в которых говорилось, что аудио не дает большого прироста и что людям сейчас все более свойственно себя показывать, делать селфи, публиковать свои фото в соцсетях, делать видео. Мы аудио не делали. Но как один из вариантов для людей, которые не хотят показывать лицо. Хотя, для тех, кто не хочет показывать свое лицо, можно просто отвернуть камеру на стенку.

Мужчина 3: У вас выборка 180 человек и по данным распределения у вас 40% будет отказываться делать видео.

Модератор: Это был эксперимент. Мы не пытались тут презентировать какие-то группы населения. Задача была понять сколько человек будут отвечать с помощью видео и понять, как с этим дальше работать. Мне кажется, что 180 человек для эксперимента – это нормально.

Эксперт 4: 40% было от тех, кого мы опрашивали из 180 человек. 180 человек – это и есть 40%, которые согласились отвечать с помощью видео.

Модератор: Итак, 400 человек выборка, 180 согласились записать видео. Спасибо за доклад. Пригашаю теперь Ольгу Макарову, директора «ПраведКо», «ПриведКо», г.Лондон с темой «Автоматизация искусственного интеллекта в маркетинговых исследованиях с возможностью ограничения».

Эксперт 5: Мы сегодня будем говорить про автоматизацию искусственного интеллекта, на какой стадии развития находится в целом и насколько он смог проникнуть в маркетинговые исследования. Эта тема была выбрана, потому что Пруфд – это автоматизированный сервис, платформа, которая победила в Нью-Йорке, выиграла «Бест нью технолоджи ворд». Нам нужно прийти к понимаю этих слов, которые сейчас почему-то по-разному понимаются. Я недавно разговаривала с одной коллегой в Англии и спросила, как у них в большой компании идут дела с автоматизацией, в каком направлении они работают. Она сказала, что работают, пишут макросы. На что я ответила, что это не автоматизация, это вам нужно было сделать в 90-х годах прошлого века. Когда мы говорим про автоматизацию в 2017 году, то мы имеем ввиду тот процесс, который автоматизирует от и до. То есть он, в конечном результате лишает людей работы. Напрммер, Uber. До появление этой автоматизированной платформы были диспетчеры, которые были на телефонах. С появлением таких сервисов, как Uber эти люди потеряли работу. в 70-х годах был очень большой дизрабшн в печатной промышленности, когда научили машины смешивать колоры, и смешивали они их значительно лучше. Эти люди, которые до этого смешивали краски, потеряли работу. расскажу недавнюю историю. Один человек в пятницу вечером после выпивки заказал Uber и хотел поехать в Брикстон, но поскольку он был не очень адекватен в этот момент, то он ввел Бристоль, а это 2 часа езды. Его Uber прекрасно отвез, а утром он понял, что он заплатил 500 фунтов и оказался в другом городе. А если бы это был диспетчер, справился ли он лучше, чем автоматизированная система? Неизвестно. Но по крайней мере, человек на другом конце провода понял, что человек пьян и, может быть попробовал бы как-то выяснить ситуацию. Это то, что автоматизированная компьютерная система на данный момент сделать не может. Искусственный интеллект – это когда мы машины научим вести себя более умно, более похожим на нас. Все эксперты говорят, что мы находимся на очень ранней стадии развития искусственного интеллекта, но основные концепции его существовали уже в 50-60 годах 20 века. Но в ближайшее время каких-то значительных прорывов в этой области не предвидится, но развитие сейчас началось очень бурно. Это сейчас видно по новинкам, которые появляются в больших компаниях. Есть машины, которые не требуют водителя, распознавание лиц на картинках, распознавание голоса, есть сейчас транскрибаторы, правда не на русском языке. Есть решения, которые научились различать эмоции по картинкам и по голосу, есть решения, которые могут писать картины, могут написать заметку о спортивном матче. Есть пилотные магазины без касс и без сотрудников. Сейчас они тестируются в Америке. То есть, автоматизация и искусственный интеллект просто лишают людей работы. Эксперты оценивают, что 50-у году не останется ни одной интеллектуальной работы, которую не смогли бы выполнять машины. Если искусственный интеллект справится с любой задачей, которая требует на выполнение человеком менее 1 секунды. Если мы свой процесс попробуем раскодировать и разбить на какие-то маленькие задания, то все эти операции машина когда-либо сможет повторить. Но все эти технологии не для нас, над этими технологиями работают большие компании. Но мы на задворках этого процесса. Но мы не единственная автоматизированная платформа. Также, как люди сами заказывают с сайта опрос, они должны предоставить материал, в нашем случае – это концепция, картинки. Анкета генерится автоматически, автоматически отправляется с помощью искусственного интеллекта нашему партнеру. Это все существует в живом времени, анкеты начинают заполняться в течение 5 минут и эти 5 минут есть только потому, что участвует человек, который запускает. Пока так. Готовность результатов была раньше около 3 часов, сейчас это около часа. Выборки у нас заложены 25-150 на концепцию. Можно выбирать какую захотите, на какую хватает денег. Квоты контролируются системой, после того, как данные собраны, происходит взвешивание тоже без нашего участия. У нас там есть 2 открытых вопроса, мы с удовольствием бы там ставили видео. Мы тоже работали над открытыми вопросами, меньше 85% не бывает. Но у нас очень короткая анкета и тематика, как правило, интересная. Как только собран последний респондент, система закрывает вход, взвешивает и через секунду у клиента готов отчет. Сравнивается с базой бенчмарков и выдаются результаты сразу с бенчмарками. Я на телефон получаю сообщения о том, что проект запущен или окончен. Большую часть человека там нет. Мы пользуемся страйпом для получения денег и, когда результаты готовы раньше, чем приходит уведомление, что страйп получил деньги. Когда я просыпаюсь утром, вижу, что какой-то проект был ночью, иду смотреть, что это был за проект, а это человек из страны Бутан сделал проект в Австралии, я понимаю, что я не зря это сделала. Я думаю, что сейчас все поймут, что автоматизация – это не макросы. Любые стандартные проекты можно автоматизировать, я думаю, что можно автоматизировать Кволити чекс и чистить данные. Я надеюсь, что это скоро произойдет. Искусственный интеллект может заменить интервьюеров и рекрутеров. Наши исследования должны перестать быть заполнением форм, они должны превратиться в некий разговор с человеком. И NLP тоже в помощь для обработки речи, но это на самом последнем месте. Я вам очень рекомендую сходить на наш сайт и посмотреть, как это работает.

Модератор: Эта система сотрудничает с панелями. Панельные компании занимаются тем, что они привлекают. Там люди включены до 65 лет.

Эксперт 5: Мы работаем с партнером, который является агрегатором всех панелей.

Женщина 4: Это у вас опрос онлайн или какой-то автоматизированный процесс?

Эксперт 5: Онлайн. Анкеты у нас, как в любой концепт тесте стандартные. Они у нас свои отработанные, обкатанные на 1000 проектов. Мы используем стандартную анкету. У нас там вопросов не так много. Мы спрашиваем релевантность проблемы, релевантность самой идеи, уникальность ворд оф мауз и 2 открытых вопроса – первый вопрос про проблему, но для вас это инсайд и второй вопрос по концепции. У нас ресурс англоязычный. У нас локализованы анкеты. Если вы заказываете Россию, то анкета уйдет на русском языке, и она уйдет людям, живущим в России. Панельный бизнес – это отдельный бизнес. И мешать аналитические компании с панельными компаниями не принято.

Модератор: Мы делаем это. Просто панельные компании не занимаются аналитикой совсем, хотя у них уровень технической грамотности выше. У аналитических компаний, как правило, уровень технической грамотности очень низкий и они, получается тоже этим на занимаются. Поэтому проектами такими некому заняться.

Эксперт 5: Это удивительно, потому что есть хорошая панель Юсемп. Они, казалось бы, очень продвинутые, но они делают концепт тесты за 3 дня и считают, что это круто. Мы много думаем о том, что наша анкета красивая и хорошая, но мы думаем идти в сторону конверсейшнл и делать чатбот для опросов.

Мужчина 5: У вас автоматизированное размещение заказов, а далее у вас все абсолютно стандартно.

Модератор: Ольга, а с точки зрения клиентов, это стартапы или это эстеблишт большие компании?

Эксперт 5: Большая часть наших клиентов – это технологические стартапы из Америки, Канады, Австралии. Еще у меня выделяется Швейцария. Из больших клиентов – Касперский, еще несколько клиентов. Но есть побочный эффект от автоматизации. Ты думаешь, что ты создаешь скорость, а ты дополнительно еще создаешь дешевизну, потому что там не заняты никакие люди. Стартапов у нас привлекает цена, а большие компании – скорость. И в больших компаниях они понимают, что такое эджайл, когда они не приходят со всеми идеями, которые они за полгода нарожали, а когда появилась идея, они ее тут же протестировали, получили тут же результат.

Модератор: Спасибо Ольга. Давайте двигаться к последнему докладу. Это Вероника Комарова сооснователь сервиса Локастер с темой «Геолокальные данные маркетинговых исследований. Сбор и анализ данных».

Эксперт 6: То, что я буду показывать, родилось в недрах маркетинговой структуры изначально. Предпосылки, которые связаны с моим предыдущим опытом и с теми нуждами, которые возникли у меня и у моей компании и последние 8 лет я занимаюсь тем, что можно назвать полевой маркетинговой активацией. Это промо-компании, это шопер-маркетинг и т.д., которые не замеряются никак. Я буду говорить об эффективности. Условно говоря, специальная выкладка в магазине палета, креативная палета, креативная палета, когда в ней что-то движется, креативная палета с диджитал интеграцией. Она вообще работает или нет? На нее кто-то ходит или нет? Вот эта гонка на полках магазинов. Шелтокеры, воблеры и т.д. – что из них работает? Неизвестно. Даже я, руководитель компании, которая занимается, в том числе промо-компаниями, безусловно предоставляем отчет об эффективности проведенных мероприятий. Есть количество контактов, количество эффективных контактов. Но вы понимаете, как это все посчитано. Мы предоставляем проходимость в зонах где мы стоим, мы примерно предполагаем скорость ухода рекламных материалов, примерно предполагаем сколько времени промо-персонал потратит на общение с человеком и, исходя их этого подсчитываем количество контактов, делим на них бюджет и получаем стоимость контакта. Это печальное зрелище по сравнению с замерами эффективности других средств коммуникации. Под эффективностью мы понимали влияние того, что происходит на той или иной точке площадки на движение и поведение людей, т.е. сколько людей увидели нашу промо-точку и сколько из них дошло до полки в магазине, на которой продается тот товар, который промоутируют наши промоутеры. Мы поставили перед собой цель – проанализировать движение покупателей в рамках одного магазина, понять, как они двигаются от полки к полке, как они передвигаются от рекламного носителя к полке с товаром. Здесь будет показан кейс модного магазина. Мы это сделали при помощи специальной системы Локастер, которую мы специально разработали для этих целей. Она определяет положение человека с включенным мобильным устройством в радиусе своего действия. На этого человека запоминает, кэширует номер его носимого устройства, как уникальный и дальше, сколько мы коробок поставили, столько раз мы этого человека отметили в том или ином месте. И так решается проблема, о которой я говорила в начале. Если коробка-1 у нас висит у нас в месте коммуникации, а коробка-2 у нас висит в месте продажи, мы можем проанализировать какое количество людей было с коробкой-1 плюс коммуникации и, какое количество из них дошло до коробки-2 в месте продажи. Мы проанализировали поведение покупателей в брендовом магазине модной одежды в течение месяца. Магазин порядка 200 м кв. – то проблема, потому что это требует определенной точности. Нам удалось ее достичь. Мы разместили 5 наших локастер-боксов в разных местах магазина. Для магазина одежды важно понять пересечение покупателей между различными зонами, во все ли зоны проникают покупатели, которые заходят в магазин, как они пересекаются. Очень важно – это проникновение в примерочную, потому что это приближает нас к покупке. И проникновение в кассу - это вторичный показатель, потому что можно получить данные по чекам просто. Зона-1 находится в районе входа. Мы проверяли, соответствуют ли наши данные счетчикам, которые стоят в магазине. Соответствуют. Посмотрели, как это распределяется по дням недели посещаемость. Зона-2 тоже неплохо посещается, тут приближено к показателям выходного дня. В зоне примерочных людей уже гораздо меньше и в субботу желание примерить возникает чаще, чем в воскресенье. Видимо, еще есть деньги и состояние более расслабленное. Вот зона касс. Тут это были скидочные дни, поэтому такие всплески. Это распределение посещений в магазине по времени, по дням недели. В субботу и в воскресенье есть определенные всплески, в дневные и в вечерние часы. В воскресенье посещений больше в вечерние часы, чем в субботу. И достаточно ровно по будним дням. Интересны конверсии из различных зон в примерочные, чтобы понять где вывешивать товар, который хочется продать в данный конкретный момент. Вот тут всплеск конверсий из примерочных в кассу, он связан с тем, что тогда были последние скидки. Они связаны с избавлением от товара со скидками. Была специальная выкладка со скидочными товарами. Конверсия из примерочных не так сильно отличается, а принятие решения о покупке сильно отличается, когда человек смотрит на цену. Мы постарались построить паттерное поведение посетителей, на основе полученных данных. Большинство идет в угол-1, который выбран, как основное коммуникационное место в магазине. Второй или третьей точкой своего маршрута все выбирают место, где тусуются продавцы, т.е. люди, которые зашли, хотят быть обслуженными. По центру есть определенная выкладка сезонных товаров, люди ее обходят чаще всего слева. Есть те, кто идет через вторую точку, но их меньше – 18%. Эта система позволяет оперативно реагировать на те изменения, которые происходят в покупательских потоках, быстро тестировать эффективность разных действий, гигантский KPI по замеру промо-компаний, можно посчитать реальное количество контактов, мерчандайзинг, построение навигации в магазинах. Можно посмотреть, какая коммуникация содержательно наиболее привлекательна для разных категорий. Гигантский потенциал по замеру эффективности индор и аудор рекламы, которая сейчас такими параметрами не меряется вообще. Это касается и замерами площадей в магазинах, можно посчитать реальное количество контактов и лидов. Городская инфраструктура – это замер и анализ туристических потоков по достопримечательностям, планирование туристических маршрутов и коррекция в соответствии с планами. Потенциал большой.  Данные, которые мы получаем, содержат несколько полей и дно из них время контакта. Сами коробочки фиксируют время контакта. Они работают на основе вай-фай технологии. Для того, чтобы она вступила в контакт с носимым устройством, нужно, чтобы в устройстве нужно, чтобы был не отключен вай-фай. Он не будет подключаться, он просто в режиме поиска отмечает свое присутствие в сети. Это мы и фиксируем. В этом случае дети – это часть аудитории, которая прошла мимо.  Мы знаем процентное соотношение людей, у которых включен или выключен вай-фай. Эта величина более-менее постоянная. Это примерно 47%. В нашем магазине, который мы тестировали это было вполне достаточно. По GSM мы не стали делать, потому что там снимаются номера мобильных телефонов, которые являются частью персональных данных. Если человек мечется, между отделами, то может у него что-то произошло. Есть открытые источники, где можно посмотреть открытые данные по использованию по миру. И мы сравнили те данные, которые получает наша коробка со счетчиками, которые висят на воротах и выявили %, который релевантен для этого магазина. На выходе большой массив данных в виде большой таблицы, который в эксель не влезает. Были проблемы с точностью позиционирования, и мы искали их по радиусу. Мы приноравливались в каждом конкретном случае. Точность позиционирования открытая. Он чекает в радиусе 20 метров, например, но можно и на 10 зачекать. Мы калибруем с несколькими устройствами. Коробки между собой не связаны, они все отправляют нам данные на GSM модуль нашего сервера. Мы себе сами ограничили для чего мы эту систему хотим использовать. Мы хотели сделать ее не очень дорогой, и мы не хотели завязываться с персональными данными, потому что это предполагает и усилия со стороны покупателя и нас. 

Мужчина 6: Я не верю, что продавцы правильно идентифицируют поведение покупателя. Понятным критерием является скорость движения покупателя. И завершается это тем, с какой скоростью должен двигаться человек, чтобы совершить покупку.

Модератор: Наша цель – дать понять, что ресерчеры могли бы вполне этим заниматься. Есть те, кто этим занимается, но это не исследовательские компании, они к ресерчу не имеют никакого отношения. Коллеги, спасибо, что пришли. Надеюсь было интересно.