VII СОЦИОЛОГИЧЕСКАЯ ГРУШИНСКАЯ КОНФЕРЕНЦИЯ

Секция 22 «Смотрим в хрустальный шар: будущее электорального и политического прогнозирования»

Материалы секции

Презентации Видеозапись Аудиозапись Стенограмма Фотоотчет

Видеоотчет:

Стенограмма:

Модератор: Спасибо всем, кто пришел в этот ранний утренний час, проснувшись, несмотря ни на что. Мы, наверное, будем начинать, потому что у нас уже секция идет формально 10 минут, и мы не можем ждать остальных спикеров. Я надеюсь, что они к нам присоединятся.

Нас сегодня транслируют по интернету, поэтому все, что будет сказано в микрофон, будет сказано для всех. Поэтому мы помним о том, что микрофоны включены и избегаем ситуаций, когда мы не знаем, что они включены. Сегодня у нас с вами горячая, больная и злободневная для всех нас тема – «Политическое прогнозирование и его будущее». Я надеюсь, что немного позже сегодня, чем запланировано, к нам присоединится один из представителей наших заказчиков – Евгений Михайленко, который не сам составляет прогнозы, а который работает с интерпретацией наших прогнозов, когда мы предоставляем их нашим заказчикам.

Сегодня у нас в дискуссии примут участие как коллеги, которые составляют прогнозы в качестве практиков и потом получают «шишки», если они ошиблись, и восторги, если они оказались правы (как правило, восторги не достаются, а «шишки» всегда сыплются), и наши коллеги из университетов, которые занимаются исследованием точности прогнозов, в том числе, точностью прогнозов за рубежом. Мы знаем, что последняя скандальная история была связана с тем, насколько аккуратно американские полстеры спрогнозировали результаты выборов, и сегодня мы на эту тему услышим не менее двух выступлений.

Кроме того, с нами Джон Кросник. Меня уже спросили – это сын того Джона Кросника? Нет, говорю, это тот самый Джон Кросник. У нас сегодня достаточно насыщенный график.

Коллеги, давайте мы поступим следующим образом. У нас сегодня запланировано 6 выступлений. Поскольку у нас присутствуют 5 докладчиков, то это дает каждому докладчику право примерно на 10 минут. Плюс, я надеюсь, что аудитория будет активна, будет задавать вопросы, и еще отводим еще минут 5-7 на вопросы.

Итак, у нас Игорь Вениаминович Задорин, к сожалению, среди тех, кто задерживается, ему утренние выступления даются трудно, поэтому давайте начнем с выступления Ольги Валентиновны Поповой, у которой потрясающе провокационный заголовок: «Исчерпан ли потенциал прогнозирования электорального поведения на основе опросов?» Вам слово.

  Попова: Уважаемые коллеги, доброе утро. Я хочу сказать, что, на самом деле, себя чувствую не провокатором, а, скорее, консерватором. Потому что, сразу хочу сказать, что, с одной стороны хотя… Сразу хочу сказать, что, хотя известное выражение персонажа пьесы «На дне» - «в карете прошлого далеко не уедешь» - как никак лучше подходит к обсуждению темы о необходимости введения новых методов и отказа от тех методов, которыми пользуются уже в течение 80-ти лет, и которые, безусловно, модернизируются, но при этом постоянно возникает вопрос, насколько справедлива речь о том, что их можно использовать дальше. Тем не менее, скорее всего, просто-напросто отказываться от классических методов не представляется возможным.

Итак, коллеги. Во-первых, первое и основное. Чаще всего проблема возникает с этим желанием отказаться от опросных методов, когда мы не различаем две совершенно разные функции и две разные задачи прогнозирования. Одно дело, когда мы говорим о прогнозировании электорального поведения, и совсем другая история, когда мы обсуждаем задачу прогнозирования исхода выборов. Очень часто, к сожалению, в литературе мы встречаем совершенно иной посыл.

Я интереса ради прошлась по базе данных статей, посвящённых электоральному прогнозированию, и, по крайней мере, во всех статьях, в которых появилась тема электорального прогнозирования за последние пять лет, это смешение понимания этих двух совершенно разных форм и задач для исследователя, оно отсутствует. Кроме того, прогнозирование электорального поведения и прогнозы исхода выборов различаются не только по целям, но также по концепциям, которые лежат в обосновании технологии прогнозирования.

Я специально привела здесь табличку, я не буду воспроизводить ее содержание, вы прочтете все это быстрее, чем я проговариваю, и вы видите, что на самом деле концепты, которые лежат в качестве основания для использования той или иной технологии, они отличаются. Кроме того, мы с вами помним, что безусловно, прогнозирование исходов выборов мы можем и за полгода использовать, но, по большому счёту, это становится актуальным только во время хода избирательной компании.

Что касается прогнозирования электорального поведения, то у нас с вами, как минимум, есть базовые исследования, которые умные политтехнологи начинают проводить где-то месяцев за 9 до выборов, у нас есть с вами мониторинг, с не менее чем шестью замерами. С этой точки зрения прогнозирование электорального поведения вещь намного более длительная.

Третье принципиальное отличие прогнозирования электорального поведения и прогнозирования исходов выборов связано, безусловно, с используемыми методами. До сих пор используется анкетирование, телефонные опросы, личные опросы по месту жительства. По оценкам экспертов, безусловно, более надежные варианты дают телефонные опросы, но все чаще и чаще даже полстеры начинают говорить о необходимости использования комбинированных методов, причем не только тех, которые где-то лет 20 как используются, сочетание количественных методов опросов с качественными методами, прежде всего фокус-групп, но и попыток, с учётом того, что очень жесткое происходит сегментирование самого рынка, скажем так, пользователей телефонов.

Все чаще исследователи говорят о необходимости сочетания в рамках одного исследования трёх отдельных выборок: это исследование на основе базы стационарных телефонов, мобильных телефонов и ко всему ещё панельное онлайн исследование тоже вещь не лишняя. Последнее то, что просто-напросто супер активно обсуждается в последний год - это использование технологии Big Data для прогнозирования электорального поведения.

Если мы говорим о прогнозировании исхода выборов, то здесь ситуация и гораздо сложнее, и гораздо проще. Понятно, что в данном случае просто данные массовых опросов никого не устраивают, необходим, как минимум, контроль экспертов по оценке полученной базы опроса. Но в последнее время заказчика все более и более привлекают другие варианты - это экспертные опросы людей, которые обладают инсайдерской информацией. То есть, как вы понимаете, это вообще ничего общего не имеет с научными методами, тут задача совсем другая. Либо все чаще говорят об использовании технологии Big Data и то, что вошло на Западе уже с десяток лет, как минимум, о различных модификациях прогнозных рынков.

Если говорить о технологиях прогноза исхода выборов на основе массовых опросов, то здесь стандартными, такими надежными, хорошо отрабатываемыми являются 2 технологии – это использование метода среднего темпа ростов и введение поправочных, повышающих или понижающих коэффициентов для оценки явки и голосования за тех или иных кандидатов.

Я выделила на презентации, вы видите, основные варианты. Ничего более нового, чем они здесь представлены, фактически в реальной практике прогнозирования не используется. Стандартные приемы при проведении предвыборных опросов для прогнозирования - техника укола, весы, техника Сита – все это позволяет дифференцировать группы избирателей с точки зрения надёжности получаемых от них результатов и, в итоге, все-таки выходить на те данные, на ответ на вопрос о том, как же люди будут голосовать. Стандартными, опять же, методическими приемами количественных, качественных методов является использование косвенной техники, синонимов вопросов, ответов респондентов на бланке, который имитирует предвыборный бланк, или в личном интервью, тоже стандартный приём использования железнодорожных тестов, которые в своё время был предложен ещё в конце 60-х годов Элизабет Ноэль-Нойман. С этой точки зрения приёмы вполне себе приличные.

С одной стороны, мы занимается научными исследованиями и, безусловно, вроде и не достигая уровня академической науки, в том числе, проводим исследования именно в научных целях, с другой стороны, понятно, что университет выполняет, в том числе, заказы различных политических акторов на основании выигранных грантов. Но с моей точки зрения, опыт 2016 года оказался достаточно любопытным. Понятно, что преимущественно у нас региональные базы данных – это Санкт-Петербург и Ленинградская область. Что стало очевидным по опросам 2016 года?

Я специально не привожу конкретные данные, поскольку просто нет на это время, а с другой стороны в конце ноября на РАНовской(?) конференции я рассказывала о тех моделях голосования, которые мы просчитали на основе регрессионного анализа. Что оказывается? Оказывается, что, на самом деле, если стоит задача просчитать и получить ответ на вопрос о прохождении политических игроков, допустим, в Законодательное собрание или в Госдуму, то с точки зрения ответа на вопрос – те партии, которые были в Парламенте, окажутся они там или нет - использование концепта партийной идентификации, несмотря на всю его древность, дремучесть, вполне срабатывает. Не срабатывает он для ответа на вопрос – а как же в отношении новых, несистемных игроков? То есть тут мы получаем долю людей, которые точно не будут голосовать за основных классических стандартных игроков, но за полгода рассказать о результатах мы не можем.

С другой стороны, опросы за две недели, за один месяц непосредственно до выборов, совершенно точно дают ответ на вопрос – в мажоритарных округах кто побеждает, кто получает преференции и, опять же, мы достаточно точно получаем расклад по всем партиям. С точки зрения надежности, вероятности, точности прогноза здесь, опять же, вопрос остаётся для политических партий, которые относятся к партиям не парламентским, но присутствуют среди участников. В чем ещё проблемы, которые не позволяют результаты электорального прогноза, связанного с электоральным поведением и результаты исхода выборов рассматривать как абсолютно тождественные. Четыре базовых причины, и понятно, что это факторы, которые нужно обсуждать не в академической аудитории, а в политической среде.

Феномен формирующей социологии, известный во всем мире и применяющийся у нас не с меньшим успехом – практика мобилизации сторонников кандидатов непосредственно перед выборами. Опять же, технологии «серые» и «чёрные», вы прекрасно знаете, усилия органов власти по корректировке поведения политических акторов. Вчера на пленарном выступлении вы слышали очень точное, очень конкретное указание на то, что, допустим, на выборах мэра Москвы были предприняты, и вполне успешно, усилия по снижению явки избирателей.

Наконец, последний пункт, о котором тоже неприлично говорить в научной академической среде, но мы всегда помним о нем - это риски фальсификации результатов выборов. Отсутствие жалоб в суды на предмет фальсификации подсчета голосов отнюдь не означает, что таких фальсификаций не было.

Наконец, самое последнее, что я успеваю сказать - очень популярна, особенно после сообщения о том, что классические полстеры провалились в прогнозах на выборах в США, президентских выборах в США в 2016 году, после появления информации в интернете о том, что ни больше ни меньше, как российские власти заинтересовались технологией Big Data для прогнозирования исходов выборов, возник вопрос о том, а так ли все хорошо и безупречно с этой методикой.

Первая проблема, которая вероятно не очень волнует политических игроков, но которая, безусловно, актуальна для учёных – это этическая проблема. «Большой брат» не спит, и возможность контроля фактически любых действий, которые вы совершаете в интернете, наверное, не есть хорошо. В частности, я делаю ссылку на проект Козинского, поскольку именно его разработки лежат в основании технологии Big Data, применительно к оценке электорального поведения. Вы видите оценки, которые выставляет и он, и о его проекте. Ситуация, когда некто может без вашей воли знать о вас больше, чем знаете вы, не очень приятна.

Ещё один момент, на который я хочу обратить внимание – используется психометрия на основе методики Оушен. Речь идёт, в данном случае, не о социологических методах, а, безусловно, о методах психологических. Соответственно, возникает вопрос – как быть социологам, для которых вполне нормальным и оправданным является оценка каких-то явлений с учётом социально-демографических характеристик?

Ещё три момента, которые самое последнее, что я должна сказать, это проблема, которая связана с основной функцией Big Data – это корректировка поведения или ещё хуже, управление поведением, а не только получение знаний, и уже одно это технологию Big Data выводит за рамки собственно научных методов.

Технические проблемы, для России, по крайней мере. Мы знаем, что постоянно повышается доля людей, которые пользуются интернетом. Вчера были приведены данные о том, что у нас 80 миллионов граждан в России из 142-х пользуются интернетом. Это так. Но как только мы начинаем просчитывать, а какова доля активного электората, который использует интернет, использует сети, каким-то образом, что называется, оставляет следы в интернете, допустим, в плане просмотра политических сайтов, то мы тут сталкиваемся с двумя проблемами.

Самыми активными избирателями, как вы помните, у нас являются люди старше 50-ти лет, и особенную активность проявляют люди старше 50-ти лет отнюдь не в мегаполисах, а в так называемых малых городах России. Что показывает анализ использования ими интернета? В лучшем случае, если сеть, то только локальная и связана с их поселением, возможности делать покупки в интернете в достаточной степени ограничены и, самое главное, вопросы, связанные с «хождением» на политические сайты, интересам политической коммуникации у них очень сильно ограничены. Соответственно, по крайней мере, либо пока эта группа населения возрастная остаётся активными избирателями, мы полноправно технологию Big Data для прогнозирования использовать не может, либо, о чудо, более активными у нас в итоге окажется молодая часть населения.

И самое последнее. Очень красивая фраза по поводу того, что у нас нет законов, ограничивающих возможность использования технологий Big Data для выкачивания информации из интернета. Да это так, но хочу обратить ваше внимание на простую вещь – Закон «О защите информации» за 20 лет претерпел 20 изменений, причём более 15 изменений относится к 2016 году. Надо ли говорить, что в данном случае у нас законодательство вынуждено идти за очень быстро развивающейся практикой, и отнюдь не факт, что не найдётся политический актор, в том числе, среди так называемого партийного большинства, который не захочет каким-то образом защищать данные людей с точки зрения оценки посторонними людьми без их согласия, их политических взглядов. Завершая своё выступление, хочу сказать, что очень признательна за возможность выступить, но все-таки вместо фразы «пациент скорее мертв, чем жив», известной нам по сказке «Золотой ключик», гораздо больше и приятней услышать фразу, перефразированное высказывание Марка Твена – слухи о смерти электоральных методов, скорее, преувеличены. Спасибо.

Модератор: Спасибо, Ольга Валентиновна. Коллеги, вопросы? Давайте так – если есть вопросы, коротко, на уточнение, на понимание, пожалуйста.

Мужчина: Я - фрилансер, который занимается электоральной социологией и нахожусь в так называемой «серой» зоне. Такие, как вы, таких, как я, очень не любят.

Попова: Я знаю.

Мужчина: Значит, три момента. Выборы - это вопрос о власти, как нас учил Владимир Ильич Ленин. Инструментами власти являются убеждения, манипуляция, проекция силы. Эти вещи, которые у вас были на одном из сайтов, эта основная практика организации выборов в Российской Федерации.

Модератор: Коллеги, давайте к вопросу ближе.

Мужчина: А теперь вопрос у меня. Почему эти моменты вы (я из вашего доклада понял) вот эти моменты вы не учитываете?

Попова: Секундочку. Подождите, я, видимо, не очень…

Мужчина: Подождите. Я более точно скажу. Почему они не являются предметом вашего изучения?

Попова: Меня интересуют проблемы электорального поведения, и я очень надеюсь, что в первых трёх таблицах, которые были выведены на экран, было достаточно чётко показано принципиальное различие этих процедур прогнозирования. Поскольку я политолог, помимо того, что социолог, я прекрасно понимаю, что это совершенно иная задача, которая требует, скажем так, другой аудитории и совершенно другого посыла. Я не являюсь политиком–практиком и…

Мужчина: Я имел в виду...

Модератор: Вопрос задан - ответ получен.

Мужчина: Минуточку. Я просто ещё сделаю одно замечание. Я имел в виду, что этот предмет нужно все-таки вывести на свет научного исследования.

Попова: Я хочу сказать, что этот предмет выведен на свет научного исследования, в частности, существует технологии, которые вообще-то физики придумали, технари придумали для оценки, скажем так, нетипичного голосования по итогам выборов, когда оцениваются официальные данные, но в частности там методы Шпилькина, Бертола и сотоварищи…

Мужчина: Я понял. Последнее замечание, и я закончу.

Модератор: Извините, у нас будет время для дискуссии, здесь все-таки…

Мужчина: А, будет время для дискуссии?

Модератор: Коллеги, да, у кого есть реплики, смогут высказаться, совершенно точно. Вопросы. Илья.

Илья: Спасибо. У меня вопрос на уточнение.

Модератор: Да Бог с ней, говорите без кнопочки.

Илья: Вопрос на уточнение по проблеме Big Data. Вы сказали, что это относится к анализу лайков. Что касается лайков, что там лучше…

Попова: Да, да.

Илья: Что это значит? Потому что поведение в сети и реальное поведение, оно значительно отличается…

Попова: Да, я поняла. Вопрос, на самом деле, к Козинскому, поскольку это оценка им самим и его коллегам на основе проведенных им исследований. Мы же помним, что Козинский очень чётко анализировал facebook. В данном случае, я это привела в качестве примера только для того, чтобы показать, что, на самом деле, есть технологии, которые претендуют на то, чтобы вытащить о человеке ту информацию, которую он, возможно, даже о себе не знает или не хотел бы, чтобы знали другие, но некими своими действиями в интернете он это выводит на свет - только это. Я понимаю ограниченность использования методов facebook. Опять же, москвичи пользуются фейсбуком, во Владивостоке любят фейсбук, а основная часть России сидит Вконтакте.

Модератор: А у меня ещё вопрос на уточнение вслед за вопросом Ильи. Ольга Валентиновна, вы знаете, хотя бы один прогноз, который был бы в этом смысле прогнозом, а не предсказанием, по лайкам? Не объяснением. То есть объяснение - это когда потом, выборы прошли, вы сказали, вы посчитали лайки, мы поняли.

Попова: Мы говорим про Big Data?

Модератор: Да, про что-нибудь.

Попова: Про что-нибудь? Слушайте …

Модератор: Кроме опросов. Кроме опросов, кто-нибудь заранее что-нибудь предсказал?

Попова: Хороший вопрос. Я думаю, что касается тех выборов, которые прошли в 2016 году, там было заранее известно распределение сил и, опять же, это вопрос политический, а не вопрос прогнозирования электорального поведения…

Модератор: Где они прошли?

Попова: В России в 2016 году. А что касается США, я так понимаю, что два доклада сегодня будут, я в эту зону не лезу.

Модератор: Мне очень жаль, что не дошли некоторые наши коллеги, я думаю, что утверждение, что все было известно заранее, для многих из тех, кто прогнозировал результат выборов - для меня, например, для коллег, может быть, сидящих - стал сюрпризом.

Попова: Коллеги, хочу сказать сакраментальное: вот когда я читала статьи, посвящённые результатам прогнозирования, я поняла, что самые точные прогнозы в России делают у нас на Дальнем Востоке. Там в «Забайкальском вестнике» я обнаружила статью двух авторов, которые где-то там за полгода опубликовали результаты, свои прогнозы исхода выборов, потом радостно написали о том, что они сбылись. Вообще говоря, статья больше, несмотря на научный аппарат, она больше походила на саморекламу этой коммерческой фирмы. Спасибо.

Модератор: Спасибо, Ольга Валентиновна. Так и хочется добавить – самые точные из опубликованных прогнозов. Я передаю слово следующему докладчика, это у нас по программе Мария Георгиевна Мацкевич, которая затронет очень больную для российских полстеров тему провала опросных методов прогноза в США в ходе последних президентских выборов.

Коллеги, кто занимаются прогнозированием, знают, что российским полстерам за американские выборы тоже досталось, и обвинения звучали примерно такого же уровня, что если американские специалисты, прогнозисты со всеми их технологиями и методиками, и методологиями не смогли точно угадать, точно назвать имя следующего президента Соединённых Штатов, то чего стоят все ваши опросные методы, которыми пользуется вы сейчас. Можем ли мы доверять российским опросам? Нам пришлось отдуваться за американских коллег, я надеюсь, что Мария сейчас прольёт немного света на этот объект. Спасибо.

Мацкевич: Да, хотелось бы начать действительно с того, что повлекло такое немножко провокативное название доклада, а именно, что в первые дни, впрочем, и сейчас есть такие отголоски - то, что произошло 8 ноября, было названо провалом опросной индустрии в США. Ни больше, ни меньше. Надо сказать, что это очень близко к сердцу восприняли не только в США, но и во всем мире, в том числе, и в России, потому что первые дискуссии утром 9 ноября у нас обсуждалось, эта ошибка 1936, это ошибка Literary Digest, соломенные опросы или это ошибка 1948 года, когда все опросные, их тогда было немного, но, тем не менее, все опросные кампании предсказали победу Дьюи, когда на самом деле победил Трумэн.

Стимулировало такие дискуссии то, что поначалу подведение итогов первое говорило о том, что перевес Клинтон в народном голосовании, не по выборщикам, а то, что называется popular world, всего 0,1 процента. Потом выяснилось, что все-таки перевес больше, и он практически соответствует тому, что разные опросные кампании говорили, так они и говорили, буквально 3%. С учетом ошибки выборки, можно считать, что они блестяще предсказали результат народного голосования. Как мы знаем, это мало им помогло, в смысле репутации.

Значит, какие обсуждались причины? Здесь перечислено, то, что называли прежде всего, сами американские полстеры и аналитики – это и недооценка протестных настроений против истеблишмента; не опрашивали, то есть отказывались отвечать именно те, чьё голосование впоследствии решило исход. В принципе, недопредставленность определенных социальных групп, то есть вполне возможно, что выборки были каким-то образом неправильно построены, об этом говорилось; феномен шайтрампес(?), «спираль молчания», большое количество не определившихся и вообще, построение модели явки, как оказалось, было достаточно сложным.

На сегодня, поскольку уже есть разные подсчеты, методику этого показателя можно посмотреть на сайте кампании. Она довольно такая хитроумно придуманная, но важно, что по ней мы можем сопоставить выборы разных годов президентские. Мы видим, что с 2016 года она не только не больше, она даже меньше 2012 года, которая считается блестящим успехом всех прогнозистов. Одна маленькая деталь – при такой маленькой ошибке неправильно названо имя победителя, и все аргументы полстеров разбиваются об это – как, имя названо неправильно. Все, крыть нечем.

Именно после таких результатов в публичном пространстве очень активизировалась дискуссия о расколотой стране, хотя это тоже можно назвать несколько странным явлением, потому что все предыдущие годы, примерно с 1994-го, практически все опросные кампании, исследовательские центры, их данные свидетельствовали о том, что страна все время расходится, все время поляризация происходит по партийным полюсам, а кроме того, что можно было легко восстановить, что все последние президентские выборы, за исключением первого срока Обамы, проходили с минимальным перевесом победившего кандидата.

Однако этот минимальный перевес сопровождался большим перевесом в голосах выборщиков, и вроде как проблемы расколотой страны не стояла, хотя по всем данным она, естественно, существовала уже тогда. Когда сегодня, понятно, что мы ждём с нетерпением отчёта комиссии, которая была создана совместно неразб. 0:29:12.8, которая в мае должна опубликовать свои результаты, анализы, что же было, с их точки зрения, основной причиной ошибки в прогнозах, но многие исследователи, например, не согласны с аргументом о том, что не отвечали сторонники Трампа. В подтверждение своей точки зрения они демонстрируют, что как все опросы практически, имеется в виду, ключевые штаты, конечно, решили исход голосования. Не вообще результаты во всех штатах, а именно в ключевых. Весь предвыборный период они заносили примерно равные позиции кандидатов. Если мы посмотрим RealClearPolitics tracking, то там все время минимальный перевес то в одну, то в другую, в основном, конечно, в сторону Клинтон. Как мы знаем по результатам, в некоторых штатах перевес в результатах был на уровне десятка тысяч голосов, двадцати тысяч голосов. Мы понимаем, что это, в общем, пока находится за пределами точного прогнозирования, такие разрывы.

Вариант с недопредставленностью в выборках определенных групп, он всерьез обсуждается. Посмотрим, что по этому поводу скажет неразб 0:30:33.4. Именно таких групп малообразованного населения, живущего в сельской местности, которые, как можно предположить, и являются избирательной базой Трампа. Но в связи с этим встает интересный вопрос о роли стационарных телефонов. Дело в том, что в последние годы тенденция в американской индустрии, это максимальный уход от стационарных телефонов, потому что по ним никто не отвечает, это раз. Если отвечает, то это будут пожилые люди, малообразованные, живущие в сельской местности, которые менее мобильны. Иначе говоря, если мы будем опрашивать по стационарным телефонам, мы получим перекошенную выборку. Это уже актуально у нас, но в Америке эта проблема встала очень давно.

А тут оказалось, что те самые недопредставленные группы, они зачастую, это как раз группы, которые отвечают по стационарным телефонам. Поэтому традиционное пренебрежение к стационарным телефонам тут натолкнулось на такой интересный факт, что все-таки, может быть, совсем отказываться от них не стоит.

Все, конечно, упирается в то, что любой аргумент о точности предсказания на национальном уровне сопровождается указанием на очень большие ошибки результатов измерений в отдельных штатах. Опять же, иногда говорится, что компании, которые работают в отдельных штатах (зачастую это очень маленькие компании, у них очень маленькие бюджеты) и настоящие качественные с метологическо-методической точки зрения исследования, за него никто не заплатит, они его не могут провести. Поэтому это вообще не научные методы, поэтому что делать. Такие результаты в штатах.

Тут что интересно. Предположим, что мы с этим соглашаемся, но все ошибки, которые мы видели, совершались в одном направлении. И это была переоценка Клинтон. По идее, особенно это было в предсказаниях заметно. Если мы имеем равные шансы кандидатов. И тем не менее все однозначно говорили, что победит Клинтон. Но, казалось бы, довольно странно, если мы имеем сорок семь на сорок семь, говорить, что однозначно победит Клинтон, довольно странно. Тем не менее все, и полстеры, а особенно прогнозисты…Ведь мы имели такую большую публичную кампанию в средствах массовой информации, в которой говорилось, что вероятность победы Клинтон - 60, 70, 80 %. Накануне дня голосования некоторые агрегаторы, например, «Huffington Post» давали больше 90 % вероятности победы Клинтон.

Теперь такая табличка, которая нам показывает, что самые большие ошибки были совершены в штатах, где имя победителя было названо верно. Но этим компаниям никто не предъявляет абсолютно никаких претензий.

Давайте посмотрим на те компании, которые находятся, во-первых, высоко в рейтингах FiveThirtyEight и RealClearPolitics tracking, и они довольно точно давали данные по хотя бы нескольким из ключевых штатов, голосование в которых решило исход выборов. Например… я не буду все компании, я рассматриваю только те, которые различаются по использованным методам, по тому, как они строят, кого они опрашивают, как они строят модели голосования и так далее. Например, Queeny Pack University (?), значит, живые интерьеры, выборка из стационарных и мобильных телефонов. Есть фильтрующий вопрос один - намерение голосовать, и этих намеренных голосовать и опрашивают. Это заявленная ими самими ошибка выборки, и мы видим, что, в общем, вполне приличная, согласитесь. Прямо скажем - не точно, ошиблись, но это вполне укладывается в ошибку выборки.

Теперь, что мы смотрим в Северной Каролине? Та же самая компания, тот же самый метод. Здесь разрыв выходит за пределы ошибки выборки, не говоря уже о том, какая история не только с президентом. Тут что интересно, что выборы в Сенат - та же самая история. Ну вот хорошо, можно сказать, что люди не хотели говорить, что они будут голосовать за Трампа. Но мы видим выборы в Сенат, где нет Трампа, а там - та же самая история.

Я тогда пропускаю обобщающий, просто мы… значит, вот Gravismarketing работает совместно с Breitbart - это такой новостной портал, тесно ассоциированный с Трампом. Значит, выборка уже большая, она намного больше в каждом из штатов. Роботизированные опросы - как мы помним, говорилось очень часто, что люди не хотят живым интервьюерам говорить, что они будут голосовать за Трампа, но на роботизированные опросы они откликаются, в этом смысле лучше и интернет-панели владельцев мобильных телефонов, и взвешивается по демографическим показателям, то есть по переписи.

Более или менее прилично в выборах президента, опять же, неверно назван победитель, но мы понимаем, что это вполне укладывается в ошибку. Здесь очень сложно было попасть, но зато мы смотрим выборы в Сенат, и здесь правильно назван кандидат, но ошибка-то какая - намного больше, чем заявленная ошибка выборки.

Здесь я уже пролистываю. Здесь очень похожие истории. Дело в том, что попадают, например, в президенты, но не попадают совершенно в Сенаторы, где, казалось бы, такая проблема стоять не должна. Все это за пределами ошибки выборки, а здесь, наоборот, довольно-таки прилично. Иначе говоря, одна компания, одни методы, но даже в одном и том же штате что-то хорошо, что-то выходит за всякие разумные рамки.

Следующая компания. Она поступает несколько сложнее. Она выделяет ключевые графства, рассматривает их историю голосования, то есть те, которые наиболее близко совпадали с последующими результатами выборов. В этих графствах начинают строить свои опросы. Значит, что они говорят, что выборка у них принципиально не стратифицирована, потому что, по их мнению, голосование представителей одной и той же социальной демографической группы может различаться в зависимости от того, где эти люди проживают. Значит, большая выборка стационарных телефонов плюс роботизированные опросы, дополнительная выборка по мобильным телефонам, и дополнительная выборка малопредставленных в выборке групп: афроамериканцев, молодежи, что, как мы знаем по итогам голосования, скорее, могло им помешать.

Мы видим, что в некоторых штатах прекрасные, можно сказать, результаты, а в некоторых, казалось бы, совершенно неожиданные. Если мы сравниваем с другими компаниями, то другие компании, которые гораздо сильнее ошиблись в других штатах, здесь были точнее. Казалось бы, в тех штатах, в которых наибольшим образом обсуждается, здесь ошибка минимальная, а там, где мы меньше всего могли это ожидать, ошибка очень большая.

Следующая компания, которая тоже занимается роботизированными опросами - очень маленькая компания, в очень малом количестве штатов работающая. Только зарегистрированных, намеренных тоже голосовать… она стратифицированная. И кроме того, там был вопрос дополнительный, они задавали. Не только как человек собирается голосовать, но как, он думает, как будут голосовать его соседи. Они считали, что это важно. Самые такие тонкие для прогнозирования штаты, где разрыв составлял те самые десятки тысяч: Мичиган, Пенсильвания попали. Они очень точно предсказали, как мы видим. Они не просто правильно назвали победителя, но и с максимальной точностью, близостью к результату.

Следующая компания - это живые интервью. Казалось бы, мы видим успехи прогнозирования тех компаний, которые используют роботизированные опросы, и мы можем тогда подтвердить тот тезис, что роботизированные опросы повышают точность измерения. Особенно в случае с Трампом. Теперь мы видим компанию, которая не использует роботизированные опросы. Она использует живых интерьеров много стационарных и мобильных телефонов. Взвешивание по данным переписи, опрашиваются все, и из них потом выделяются намеренные голосовать.

Модель явки строится на учете не одного показателя, выраженного намерения, а трех показателей - то есть предыдущий опыт голосования и интерес к выборам. Что мы видим - тоже точный прогноз. Иначе говоря, они не используют роботизированные опросы, тем не менее, данные их очень даже близки к исходу.

Переходя к выводам. Я привела наиболее яркие примеры. Если мы возьмем компании, опять же, я беру, естественно, только те компании, которые используются при агрегации данных известными агрегаторами. Извините за тавтологию, Huffington Post, FiveThirtyEight и RealClearPolitics, то есть это компании с хорошей репутацией. И мы видим, что ни один метод или их сочетание не дает однозначного преимущества в прогнозировании исходов выборов. Точность в одном месте может сочетаться с чудовищной неточностью совершенно в другом месте. Гораздо менее чувствительным, зачастую, чем выбор между Трампом и Клинтон.
Переходя уже к более общим выводам, все-таки то, что называется крахом опросной индустрии, это был действительно крах индустрии опросов или это были ошибки прогнозистов, которые вообще люди другой профессии?

Например, откуда все такое широко транслирующееся убеждение, что победа Клинтон предрешена, буквально, то есть она неизбежна. От этих процентов 70, 80, 90 % вероятности ее победы, да, это оценка вероятности, но, тем не менее, мы не должны забывать психологические моменты, и более того, когда эти прогнозы распространяются, они влияют не только на избирателей, но и на самих исследователей.

Что говорили исследователи в первые дни интервью: "Если мы получали результаты, которые не соответствовали победе, безусловной победе Клинтон, мы не были в них уверены, мы думали, что мы ошибаемся. Вы все правы, а мы ошибаемся". Вполне возможно, что это тоже влияло на их выводы.

И последнее, использование BigData. Как мы знаем, наибольшие в этом смысле ошибки допустили прогнозисты, то есть никто из них... Были отдельные опросные компании, которые точно прогнозировали исход выборов, но все прогнозисты ошиблись. Теперь мы видим, что те компании, которые использовали Big Data, провалились точно так же. И те компании, которые вообще не использовали опросы, а использовали экспертные оценки, рыночные ставки и так далее, они провалились тоже. Иначе говоря, сегодня нельзя на основании, по крайней мере, той информации, которую я отслеживала, я не могу сказать, что есть какой-то метод, который дает однозначный успех. Спасибо.

Модератор: Это вопрос на уточнение или комментарий? Только вопрос на уточнение.

Мужчина: Голосование в США двухступенчатое, и это известно заранее, почему голоса popular world, этих избирателей, не были исследователями интерпретированы в количество выборщиков, которых получит тот или иной кандидат?

Мацкевич: Кого вы называете исследователями? Опросные компании не занимаются прогнозированием выборщиков, а те самые психологи, назовем их так, они, естественно, прогнозировали количество выборщиков

Мужчина: Нет, подождите. Там же статистическая вещь.

Мацкевич: Они прогнозировали количество выборщиков.

Мужчина: Это очень ценное замечание, потому что от вас я первый раз слышу.

Мацкевич: Вы зайдите на сайт, они этого не скрывают. Они прогнозировали больше трехсот голосов Клинтон.

Мужчина: Выборщиков, да?

Мацкевич: Да. Об этом они и говорили, почему у них 90 % было.

Мужчина: Во-первых, спасибо большое за доклад. Мне показалось очень интересным. Я не знаю, может быть, вполне достойным даже для публикации где-нибудь в США. Может быть, им это будет интересно. Вопрос такой: а можно ли сказать, проанализировав работу опросных центров, какие методы, какие подходы оказались все-таки более релевантными, более адекватными этой ситуации? Может быть, роботизированные, вы сказали, что менее удачными были. Какие подходы, в общем, в целом оказались более удачливыми, более точными?

Мацкевич: Они не были менее удачливыми как раз. В том-то и дело, что, значит, из того, что я рассматривала эти компании, я не увидела однозначного преимущества у компании, которая использует, например, роботизированные опросы. То есть да, те, кто использует роботизированные опросы, у них довольно близкие к исходу результаты, но они точно так же ошибались в предсказании итогов выборов в Сенат. Но, с другой стороны, точно попадали в результат те компании, которые не использовали роботизированные опросы. Иначе говоря, у какой-то компании это работало лучше, а какой-то компании это преимущества не давало.

Нет, они были. Результат у них был примерно одинаковый по качеству, вне зависимости от тех методов, которые они использовали.

Модератор: Все сработали одинаково. Коллеги, давайте коротко вопросы ваши.

Женщина: У меня тогда абсолютно простой вопрос. Если бы вы могли быть в Госдепе США и советовать теперь полстерам быть более как-то адекватными в своих прогнозах, что бы вы посоветовали, чтобы в следующий раз не было такой ошибки?

Мацкевич: Значит, я плохо сделала доклад, раз мой поинт был в том, что большой ошибки, на самом деле, не было. Потому что на национальном уровне, вообще все компании, которые работали на национальном уровне, они сработали отлично. Проблема в том, что это не имело никакого значения, потому что двухступенчатая система выборов.

Модератор: Перевожу, перевожу Марию. Все национальные опросы предсказывают popular world - распределение голосов избирателей. Клинтон набрала на три миллиона голосов больше. Голоса выборщиков распределяются по штатам, по другим законам. Чтобы предсказать штаты, нужны были другие выборки. Правильно я сказала?

Мацкевич: Так дело даже не в выборках. Я даже не уверена, что другие выборки решат вопрос, потому что, если у вас разрыв между кандидатами, где несколько миллионов избирателей - десять тысяч или одиннадцать тысяч, нет такого метода, то есть вы можете попасть в результат, но случайно.

Модератор: Мы поняли, спасибо. Еще последний вопрос, и дальше.

Мужчина: Скажите, пожалуйста. Спасибо большое за ваше исследование. Скажите пожалуйста, вот цифры, которые мы видели по опросам, это ведь не прогнозы, это просто результаты опросов?

Мацкевич: Там были и затруднившиеся, там были голосующие за третьих кандидатов. За третьих, четвертых и пятых, просто я их не приводила. 

Мужчина: Но так сумма не 100 %?

Мацкевич: Сумма не 100 %. 

Модератор: Спасибо, Мария, я вижу, что вопросов на уточнение больше нет. Комментарии дать будет возможность после. У нас есть коллега из США, который может ответить за американских полстеров. Это Джон Кросник. Джон как раз расскажет, какими методиками американские полстеры пользуются для того, чтобы прогнозировать явку и чтоб прогнозировать результаты выборов. Он тот самый человек, которому можно задать множество вопросов на уточнение деталей, потому что он знает эти методики, он их сам разрабатывал.

Кросник: Очень рад вас всех сегодня здесь видеть. Очень рад такой возможности с вами пообщаться и представить свой доклад. Я сегодня сделаю 3 презентации. Это о избирательной кампании и о результатах выборов в Америке, затем будет презентация о будущем, как раз-таки об опросах, и также будет мастер-класс о методах и техниках проведения опросов.

Мне действительно понравилось выступление Марии. Действительно, Мария должна жить в Америке. Поскольку она настолько точно все описала. Я хотел бы внести несколько уточнений и представить свою точку зрения на то, что сейчас было сказано. Я хотел бы так же представить несколько своих мнений и взглядов по поводу того, что произошло в Америке, и то, что еще связано с будущим - прогнозирования выборов в Америке.

Успех любого метода прогнозирования зависит от двух основных факторов: в первую очередь - это целостность самого метода, а второе - это преданность своему делу и преданность методу самого интерьера, самого социолога, самого исследователя. Если один опрос показывает результаты, прогнозирует результаты неверно, из этого не следует, что метод, который использовался в этом опросе, он сам по себе не верный, неподходящий на основании результатов только одного опроса. История с выборами США 2016 года... те опросы, которые были сделаны с научной точки зрения правильно, они были действительно точными. Те же, которые были сделаны неправильно, естественно, результат был соответствующий.

Как следует проводить опрос? Первый шаг - это нужно сделать, действительно, случайную выборку всей генеральной совокупности. Такой вариант может быть действительно в США, если мы проводим личное интервью с респондентами в их домах, домохозяйствах, но эти домохозяйства, эти дома, они тоже должны быть выбраны случайно. Именно случайно, то есть никакой преднамеренности быть не должно. Когда социолог - человек, который проводит опрос, приходит в дом, он, естественно, стучит в дверь, и человек, которого он должен опросить, должен быть не тот, кто первый откроет дверь, а тот выбор этого человека, с которым будет проводиться интервью, должен быть реально случайным. А не так, что кто первым откроет, тот будет действительно опрошенным корреспондентом.

А также можно проводить такой опрос с помощью телефонов, о чем сегодня говорили. Но, опять-таки, этот дозвон должен быть по реально случайным комбинациям номеров, будь это стационарный телефон, будь это мобильный телефон. И один из методов экономии денег в США для проведения таких телефонных интервью - это использование этих, о чем мы сегодня говорили, роботизированных интервьюеров. Уже записанный голос интервьюера, который опрашивает человека, который отвечает на вопросы. Но в США считается незаконным использовать такой метод роботизированного опроса для мобильных телефонов, соответственно, он не применим для случайной выборки, с точки зрения именно дозвонов на мобильные телефоны, справочник.

С правильными и совпадающими с реальными результаты, точные опросы проводились разными методами. Это были телефонные звонки, использование стационарных телефонов и мобильных телефонов, а также личные интервью, личные опросы, но, опять-таки, с использованием, в первую очередь, живых интервьюеров. Если вы все сделали правильно, если вы, как социолог, использовали свой метод научно, то проблем у вас никаких не было. То есть ваши результаты были достаточно близки к реальным.

Опросы, которые проводились на национальном уровне, общеамериканские опросы, которые использовали, научный метод, они были действительно очень точными. А то, что касается 90 процентов тех опросов, которые проводились до 2016 года и не использовали это научный метод, к сожалению, они были неправильными. И результаты, которые они предсказывали, не совпадали с реальными результатами.

Два самых известных, два самых популярных метода опроса были сделаны с помощью Google Consumer Surveys, и с помощью опросного социологического сервиса Survey Monkey. Я думаю, что многие о них знают. С помощью них было сделано очень много опросников. Они очень дешевые, то есть, естественно, можно на них экономить, но результаты были неточными. Понятное дело, что, чем меньше денег вы тратите на подготовку и проведение опросов, тем результат ваш менее точен, и тем он не совпадает с реальным результатом, который вы получите позже. Мы сегодня уже говорили, упоминали о тех «шайтрамперс» - людях, которые стеснялись или боялись, или не хотели признавать то, что они будут голосовать за Трампа, но, опять-таки, это были ситуации, в которых интервьюерами были реальные люди, поэтому такое заявление - оно не совсем верное.

И еще проблема, которой бы Джон хотел закончить, как раз на которой хотелось бы закончить, это то, что различные агрегаторы опросов проведенных, к сожалению, они набирают большое количество различных опросов и представляют средний результат. Но, к сожалению, такие опросы, с точки зрения метода - они не научны, и предсказать точно в таком случае результат выборов очень сложно. То есть в таком случае нужно было бы проводить более научные опросы уже конкретно в штатах, особенно в тех штатах, которые являются колеблющимися, в которых непонятно, кто же все-таки из кандидатов имеет преимущество, и уже проводить опросы там, используя научный метод.

Да, мне бы хотелось еще много чего рассказать по этой теме, но поскольку, к сожалению. у нас есть определенный цейтнот, лимит времени, то я готов выслушать ваши вопросы.

Чуриков: Как вы думаете, в научных методах исследования вот эти «стеснительные трамписты» - они играли значительную роль или незначительную? То есть «спираль молчания» работала сильнее, чем обычно или примерно так же, как на других выборах?

Кросник: Если бы было действительно много людей, которые не хотели признаваться в том, что они поддерживают Трампа в интервью, в личном интервью с живым интервьюером, то тогда бы национальное исследование общественного мнения было бы не точным. А это не так.

Мужчина: Предположим, случайная выборка - 1000 респондентов по случайным домовладениям, выбираем респондента. 200 человек отказались отвечать на вопрос, и еще 200 человек затруднилось ответить. Какие цифры в ваших исследованиях, о которых вы можете сказать? Понятен мой вопрос? Или все 1000 человек у вас респондентов у вас отвечают? Вы поняли мой вопрос, то есть, есть затруднившиеся ответить. Мы о прогнозах говорим.

Кросник: Да, эта проблема как раз-таки сейчас существует в Америке. Многие люди отказываются участвовать в опросах, и эта цифра тех отказников, она все растет и растет. Но это никак не влияет на точность прогнозов. То есть корреляции между уровнем ответивших и точностью опросов нет.

Мужчина: В США нет института прописки. Как им делать выборку, не зная сколько людей проживает в доме?

Кросник: Они просто их спрашивают: "Сколько у вас в семье народу?"

Мужчина: Нет, сколько их надо опрашивать. Мы знаем, что, когда республику, регион делают, мы знаем, что 33 % живет в Чебоксарах, 10% - Чебоксарский округ. От всей федеральной совокупности...

Женщина: Как стратифицируются вот эти?..

Мужчина: Да.

Кросник: У них проводится перепись населения каждый год. Соответственно, на основе этого можно понять, сколько людей живет в каждом отдельном городе или поселении.

Вопрос не разборчив.

Кросник: Да или нет. Они работают очень-очень так, там реально вкалывают для того, чтобы людей все-таки заставить ответить и сказать, сколько человек в семье, ответить на их вопросы.

Модератор: Коллеги, вопросы на уточнение закончились. Спасибо, Джон (аплодисменты). На сегодня у нас осталось 45 минут, и у нас осталось в программе три выступавших, но двое из них так до нас и не дошли. Кто-то, видимо, по прогнозированию очередного избирательного цикла Игорь Вениаминович не явился. Поэтому я предлагаю сейчас поступить следующим образом - я предлагаю дать слово тем участникам, которые могли бы сделать короткие реплики, и далее уже после этих реплик в формате свободной дискуссии обсудить те проблемы, которые у нас возникают при прогнозировании. Алексей Владимирович, вы что-нибудь скажете? Алексей Владимирович Чуриков, фонд "Общественное мнение". Человек, который прогнозировал столько выборов, сколько многим и не снилось.

Чуриков: Спасибо за представление такое интересное. Я, наверное, хочу добавить еще три момента, которые, может быть, частично прозвучали сегодня, частично не так четко, применительно к теме нашего сегодняшнего семинара о будущих прогнозах на будущих выборах. Какие особенности изменения нас ожидают. Мне кажется, что можно отметить три такие частично новые, частично усложняющие черты для будущих выборов.

Первая, связанная с тем, что сейчас все больше и больше применяются новые возможности для агитации избирателей за своих кандидатов. В общем-то, целенаправленная реклама в маркетинге применялась уже давно через всякие онлайн сервисы, через интернет, но вот успех Трампа, который активно применял эту целенаправленную рекламу, как сегодня уже было сказано, он подтолкнет политических деятелей к использованию таких методов более активно.

Что это означает для исследователей, для прогнозистов? Что, во-первых, усилится дифференциация избирательного поля. То есть, если раньше у нас основной метод воздействия на избирателей было телевидение, то взгляды избирателей были более или менее, более однородны, наверное, и географически однородны. Но когда у нас появляются методы точечного воздействия, у нас появляются большое количество разных групп, имеющих под этим точным воздействием имеющие свои специфические электоральные предпочтения. И чтобы замерить вот эту всю дифференцирующуюся массу избирателей, потребуются более точные выборки как по объему, так и по дизайну выборки.

То есть, если раньше можно было делать, например, меньше точек опроса, меньше кластеров отбирать, то сейчас при том же объеме выборки количество кластеров потребуется больше, потому что дизайн-эффект скорее всего увеличится наших выборок. То есть влияние того, где мы опрашиваем людей на их ответы, они будут сильнее коррелировать между собой. Второй аспект, тоже связанный с этим эффектом, новыми способами воздействия на избирателя, выразится в том, что мнение избирателей быстрее можно будет изменить. Оно станет более волатильным.

Что это означает для исследователей? Что потребуется проводить исследование, причем довольно объемные, вплоть до последнего дня голосования. То есть в последний день эффективным направленным воздействием можно будет сильно поколебать распределение голосов. Исследователи должны будут это сейчас учитывать, и если, в общем, исследователи и раньше проводили опросы вплоть до последнего дня голосования, то до этих опросов и объем этих опросов должен в будущем возрастать.

И третья особенность, третья черта будущих выборов, как мне кажется, состоит в том, что, по моим оценкам, доля социально одобряемых ответов, которые для России очень значимы, достаточно велика, она сейчас не уменьшатся и, возможно, даже растет. Например, по опросам ФОМа, если перед выборами в Думу 11-го года распределение ответов о намерении участвовать избирателей «совершенно точно приду на выборы» - 43 %, и с разной степенью уверенности суммарно, включая совершенно уверенных точных тех, кто декларировали явку, было 77%. В сумме 43 совершенно точно. На выборах 16-го года точно совершенно точно были те же самые 43 %, а суммарно чуть меньше, на три пункта меньше - 74%.

Но, тем не менее, явка в 11 году была 60, 2% а в 16 году существенно меньше - 47,9. Несмотря на то, что выборы 11 года, в общем, подвергались очень большой критике за фальсификации и приписки, все-таки количество этих фальсификаций не могло быть столь велико. Это говорит о том, что при примерно той же декларируемой явке доля участвующих в выборах уменьшается, значит, доля социально одобряемых ответов об участии в выборах растет. И это тоже нужно учитывать при будущем прогнозировании.

Но появляется, на мой взгляд, одна особенность в социально одобряемых ответах, которых не было на прошлых выборах. То есть, если раньше большинство одобряемых социальных ответов людей, которые говорили, что да, я, конечно, приду на выборы, и большинство этих людей, которые реально на выборы не ходили, но декларировали свою явку, говорили, что они проголосуют либо за партию власти, за "Единую Россию", либо за кандидата партии власти - за Путина или Медведева, в зависимости от того, какие выборы были, то сейчас, по нашим ощущениям, на наших исследованиях это распределение поменялось. Сейчас социально одобряемые ответы о намерении участвовать в выборах размазываются почти равномерно по разным партиям и, видимо, будут, возможно, будут размазываться на президентских выборах 18-го года по разным кандидатам, а не попадать все в одну копилку участвующего президента от партии власти. И за исключением, может быть, на прошедших выборах за КПРФ - доля социально одобряемых ответов о голосовании за КПРФ было, наверное, все-таки меньше, чем по остальным партиям. И это тоже осложняет прогнозы, и тоже нужно будет как-то учитывать при будущих методиках, как опросов, так и прогнозирования. Спасибо.

Модератор: Давайте перейдем к репликам чуть-чуть позже. Коллеги, мы уже почти перешли к репликам. У нас просто есть еще один небольшой сюжет, который я сейчас озвучу, и есть еще двое записавшихся ораторов, которые тоже хотели бы показать некоторые свои результаты. И у нас дальше остается примерно полчаса на свободную дискуссию.

Буквально несколько слайдов покажу в развитие темы, которую начал Алексей Владимирович о трендах прогнозирования в будущем. Потому что мы все время прогнозируем и анализируем нашу аккуратность, глядя назад. А что нас ждет впереди - это та тема, которая с одной стороны все думают наощупь, пытаясь вводить какие-то новые методы прогнозирования, а с другой стороны у нас пока нет тех ответов, которые мы можем считать ясными, надежными, понятными и сказать, что да, вот это будет именно так. В чем наша история? История в том, что мы очень часто путаем и смешиваем прогнозирование с объяснением. Вот прогнозирование - это то, что бывает до события. А объяснение - это то, что чаще всего приходит после. Очень много очень красивых, очень интересных идей, моделей, теорий, концепций - все это приходит. Но это все приходит после того, когда состоялись выборы. Перед какой проблемой стоит прогнозист сегодня, и перед какой проблемой стоит всегда? Выборы у нас еще не прошли, и нам нужно заранее предсказать, что будет. А мы не знаем, что будет. Повлиять на это может большое количество факторов. Избиратель, как совершенно точно отметил Алексей Владимирович, и я с ним согласна, он имеет право изменить свое мнение. Мы можем его спросить: "Вы пойдете на выборы?" и он скажет: "Да". Я, правда, избегала бы здесь версии о социально одобряемых ответах, потому что это не очень продуктивная для нас концепция. В принципе, он может верить, что он пойдет. Почему нет? Ходить хорошо, каждому хочется быть хорошим. Он не обязан ходить на выборы, но он вполне может хотеть пойти на выборы.

И вчера в этом же зале Патришия Мэй показывала сюжет, она играла со своей аудиторией в квесты. Она показывала нам, смотрите - по результатам опросов кандидат А набирает 52%, а кандидат Б набирает 48%, что вы будете делать? Аудитория сидела и чесала затылок, кто-то говорил: "Ну, я не пойду". а кто-то говорил: "Ну, я пойду и точно поддержу своего кандидата А, чтобы он выиграл ". "А я не пойду, потому что кандидат Б уже проиграл". "А я мобилизую всех сторонников кандидата Б", и начинались версии. И мы все время находимся вот в такой ситуации, когда мы должны учесть какое-то безумное количество обстоятельств и сделать это заранее. Так вот какие инструменты у нас на сегодня есть? Реально какие инструменты у нас есть? У нас есть опросы, эти опросы мы проводим разными методами, и здесь качество наших прогнозов зависит от двух вещей: от качества данных, которые мы получаем, об этом с таким пафосом говорил Джон, когда он говорил про необходимость случайного отбора респондентов домохозяйства и построения случайной выборки, но мы- то знаем, что у нас всё время очень короткие сроки, потому что, чтобы сделать выборку с повторными посещениями: нам нужно несколько месяцев, мы, кстати, это делали. Я могу похвастаться: у нас это заняло 1 раз, дай Бог, 2,5 месяца. Часть из тех, кто здесь присутствует, принимали в этом ужасе участие и до сих пор нас за это ненавидят. Да, я вижу понимающие лица. Мы бросили, я могу вас порадовать, мы больше так делать не будем, единственное, когда мы делаем случайную выборку – мы делаем это по телефонным опросам, и мы можем использовать этот метод. Но это не снимает всех наших проблем.

Наша случайная выборка не отменяет того, что мы измеряем вербальное поведение людей, т.е. мы измеряем, что они говорят, это далеко не всегда связано с тем, что они делают. И вот здесь мы от качества данных переходим к качеству – моделям.

До сих пор в настоящее время мы используем модель Гэллапа, её не надо видеть, тут мелкие буквы и циферки. Она очень старая, эта модель, этой модели 70 лет, её придумал Джордж Гэллап, она основана на том, что мы делим людей на вероятных избирателей и невероятных избирателей, likely voter model. Это известная история. Сначала мы пытаемся с помощью нескольких вопросов выяснить, пойдёт респондент на выборы или не пойдёт. После этого мы задаём ему вопросы, которые нам помогают определить его предпочтения.

В России эту же модель изобрёл, скорее всего, самостоятельно, потому что в тот период времени западная литература, журнал «Public opinion quarterly», который мы все читаем, не был доступен. Игорь Вениаминович Задорин, он её оформил. Я знаю, что у коллег из ФОМа были публикации похожего типа, где воспроизводилась та же модель: выделение вероятных избирателей и измерение их предпочтений.

И вот с этой моделью мы работаем. У нас есть некоторый набор вопросов, который даёт нам возможность выделить предпочтения. У нас есть некоторый набор вопросов, который даёт нам возможность, так или иначе, спрогнозировать явку. Это то, как мы действуем сегодня.

Насколько эта модель работает хорошо? В целом, она работает. Когда мы прогнозируем какие-нибудь результаты выборов в Госдуму, то получаем достаточно аккуратные оценки, у нас всё достаточно неплохо совпадает с результатами выборов. Я показываю кейс 2011 года потому, что в 2016 году мы не публиковали прогнозов на основе модели Гэллапа. Но они были, они тоже, в общем-то, оказались достаточно неплохими.

В чём история, в чём проблема? Проблема в том, что мы не всегда попадаем так точно, как того от нас желает просвещенная публика. Когда мы начинаем применять эту модель в каких-то сложных историях, когда у нас какая-то очень необычная кампания, или, когда мы это делаем на региональном уровне, в ряде случаев оказывается, что мы применяем эту модель неудачно.

Самым знаменитым кейсом такого рода были выборы 2013 года в Москве, когда социологи недооценили Навального, за что получили побивание камнями совершенно справедливо, это побудило их чуть-чуть пересмотреть свои методики, но модель Гэллапа не изменилась. Мы стали чуть-чуть по-другому собирать данные, мы внедрили случайную выборку, а в целом, вот она модель, вот она работает.

Что ещё мы можем использовать сегодня для прогнозирования выборов? Мы используем экспертные опросы, используем достаточно широко. Мы спрашиваем экспертов: «Коллеги, спрогнозируйте нам результаты выборов». Что мы получаем? Мы получаем те результаты выборов, которые очень близки к данным количественных опросов.

На этом графичке результаты по партиям, прогнозы по партиям, 2011 года. Пунктирная полосочка – мнение экспертов, цельная полосочка – результаты количественных опросов. Мы видим, что они идут близко, они идут точно. И когда мы спрашиваем экспертов: «Ребята, на что вы опираетесь, когда вы делаете свои прогнозы, они говорят: «На опросы опираемся, на понимание конъюнктуры». Мы-то надеемся, что они нам предскажут административный ресурс какой-нибудь, мы надеемся, что они нам предскажут какой-нибудь сложный внутриэлитный расклад, («серая» зона кивает мне головой, мне приятно), но на самом деле этого не происходит.

Единственное, как эти факторы всплывают в экспертном опросе – это в форме больших диапазонов. Вот, когда мы делали это на президентских выборах, то они нам прогнозировали вот так: вот прогноз результатов Путина экспертами в 2012 г. «Усики» на этой биржевой диаграмме – это диапазон тех экспертных оценок, максимальных и минимальных выбросов, которые нам давали. Смотрите, минимум - 40 пунктов, максимум – 70. А в среднем, так от 50 до 58.

Вот он диапазон экспертных оценок. Что нам потом с ними делать? Вопрос, понятно, что кто-то где-то учёл какие-то сценарии, но как мы потом реально эти сценарии можем преобразовать в оценки? Задача нетривиальная, задача вполне математическая.

И тут нам на помощь идут новые методы. Ольга Валентиновна рассказывала, можно учесть динамику. Мы играли в динамику. В динамике мы делали трекинг. Можно ли править на динамику? У нас была надежда на то, что динамика нам поможет. В чём проблема динамики? Нужно много опросов, чтобы была динамика, т.е. нужен какой-то последовательный ряд опросов. Это дорого, это долго, и мы этого долго не делали.

Пару лет назад мы запустили трекинговые опросы. Трекинг – это когда мы опрашиваем каждый день выборку случайную, достаточного размера для того, чтобы мы могли сделать на ней прогноз. И мы следим на этом трекинге динамику. Вот у меня сейчас 3 года трекингов, можно посмотреть по разным регионам, посмотреть, как идёт эта динамика.

Здесь возникает больше проблем, чем радости, потому что трекинг – это не только сигнал, это ещё и шум. Вот у тебя идут данные рядочком, ты не понимаешь, что это - ошибка, это начало тренда, сколько дней должен длиться тренд, чтобы мы говорили, что это тренд. Если он есть. А в ряде случаев бывает, что динамика ровная, ровная, ровная по дням, а почему нет? У нас методика, анкеты, инструментарий, всё работает. Почему должно что-то радикально меняться? Не меняются ли оценки, мнения людей так быстро? Сдвиги, наверное, происходят, они происходят перед выборами, не очень ловятся опросами, вот в чём история. В результате мы иногда угадываем, вот как у нас это было в Костроме, иногда мы не угадываем.

А в Костроме у нас была история пару лет назад, когда у нас не было, не было динамики по трекингу, а получилось так, что накануне перед выборами получился резкий скачок вниз у «Единой России», и мы не понимали – это динамика, это резкий сдвиг, шифт в настроениях избирателей или это просто огрех опроса? Мало ли, выходной день, выборка даёт ошибку. Мы решили опереться на тренд и не менять наш план, не учитывать тренд, учесть как раз тренд, не учитывать данные. Мы оказались правы: тренд на нас сработал.

Были другие истории, когда тренд не сработал. В Нижнем Новгороде рейтинг «Единой России» рос, тренд показывал рост, но долгосрочный тренд был вниз. Тогда сигнал был неотличим от шума.

У нас был кейс в Иркутской области, когда неожиданно выборы выиграл не Ерощенко, а Левченко. В результате чего мы немножко разочаровались в трекинге и сделали по нему несколько достаточно грустных для нас выводов: да, мы видим динамику, но динамика не побеждает инерцию. И мы не можем отличить изменения тренда от статистического выброса, от ошибки. Да, трекинг улучшает сигнал, он показываем нам вариацию, диапазон колебаний рейтинга, но, с другой стороны, мы видим усиленный шум, мы не знаем, как с ним работать. Проблема «отказников», о которой нам часто говорят, за которую нас любят пинать, она не выглядит остро, эта проблема. Мы периодически смотрим, кто эти люди, мы видим, что эти люди, мы успеваем их опросить. Как мы это делаем? Мы это делаем так: мы спрашиваем: «Вы согласны нам дать интервью?». Они говорят: «Нет». Ок. Только один вопрос: «Сколько вам лет?» или «Вам неудобно говорить с нами сейчас, или вы вообще не отвечаете на вопрос? Один вопрос». И мы изучаем эту аудиторию. Но мы про них что-то знаем. Мы знаем, что это женщина. Мы знаем, что это люди, которые, как правило, всем довольны. Мы знаем, что это люди, индифферентные к политике, она им не интересна. Мы знаем, что, как правило, не вовремя застали их, им с нами неудобно говорить сейчас. Поэтому у нас нет здесь какого-то серьёзного отклонения.

А проблема искренности остаётся, но мы не любим о ней говорить потому, что это некоторая «нападка» на нашу квалификацию, получается, что мы не умеем правильно спросить людей о том, что они думают. Понятно, что, если мы спрашиваем в лоб, то, наверное, это не очень хорошо, наверно, лучше спрашивать как-то хитро, ведь искренность – сложная штука, искренность – это, наверно, когда то, что респондент говорит, и то, что он думает, это каким-то образом соотносится. Но это необязательно должно соотноситься с тем, что он думал вчера, и то, что он будет думать завтра, или тем более, с тем, что он будет делать.

Какие у нас есть решения, которые мы видим в будущем? У нас их немного. Нам на выручку идёт - ура - интернет. В интернете мы иногда играем. У нас появляется Big Data. ВЦИОМ уже показывал эти кейсы, эти истории, когда мы играли в Big Dat’у и прогнозировали результаты выборов экзотически, когда их прогнозировали в Венесуэле с погрешностью, мама дорогая, полпроцента, вот тогда мы точно угадали, кто тогда победит.

Взяв анализы социальных сетей, мы построили модельку, посмотрели, как это конвертировать, какой-то внятную прогнозную историю, потом это уже опубликовали, это всё висит на сайте ВЦИОМ.

Мы прогнозировали результаты выборов в Москве. Мы их не публиковали. Там у нас Навальный получил 24 % по нашему сетевому прогнозу, в то время как по прогнозу на данных опроса мы давали ему 18%, а по факту, Центризбирком дал ему 27%, т.е. прогнозные данные социальных сетей оказались точнее, чем то, что мы делали опросными методами, мы в это играли. Но это не тиражируемая история. В чём здесь проблема? Здесь проблема построить, обучить неровную сетку. Берём, выгружаем данные социальных сетей, и мы берём ключевые слова, которые мы замеряем. Слово, например, «Навальный», маркеры позитивного отношения определяем. Строим модель, которая может работать. Обкатываем эту модель, на каких-то выборах, которые похожи, обучаем. После этого мы пытаемся прогнозировать.

Чем прекрасен Интернет с этой точки зрения? Тем, что эти попытки относительно недорогие. И тем, что не требуется делать какие-то колоссальные, капитальные инвестиции в то, что можно делать.

А в этом году мы играли в прогнозный рынок – еще одна история, которую можно спрогнозировать. Мы приглашали всех желающих участвовать в данном рынке, мы набрали там порядка 40-50 участников, потом это число приблизилось к сотне, и они покупали и продавали виртуальные акции политических партий. Для них это было бесплатно, за виртуальную валюту. Для того, чтобы мы могли понять, котировки каких акций растут, котировки каких акций падают. Что мы получили? Мы получили интересную штуку. Самое интересное, на мой взгляд, было в том, что эти данные близко совпадали с опросами, достаточно близко совпадали с опросами. Люди не должны были предсказать результаты выборов, они должны были просто оценить шансы котировок на рост, они зарабатывали себе виртуальный капитал, они могли и продать, и купить акции той же самой партии в любой момент времени. У них не было необходимости следить за опросами, опросы формально никак не попадали. Но наши данные бились, это давало нам какую-то дополнительную уверенность в том, что мы делали. Мы зафиксировали в последние дни колоссальный рост, что соответствовало как раз тем результатам, которые опубликовал Центризбирком, то есть фактически от стадии совпадения с данными опросов наш рынок перешел в стадию демонстрации цифр каких-то близких реальному результату, который был опубликован Центральной избирательной комиссией.

Вот еще одна прогнозная история. Насколько она может быть рабочей? Я думаю, что здесь возникает тоже целый вопрос факторов, которые нужно учитывать: кто эти люди, которые следят за выборами, кто эти люди, которые будут участвовать? Какова их мотивация в том, чтобы заниматься этим постоянно? И насколько эта история тиражируема? Я не уверена, что она тиражируема. Я думаю, что для федеральных выборов она вполне годится, для региональных постоянно – совершенно не факт. То есть задача прогнозирования все-таки остается.

А что у нас с Интернетом, в итоге? Я уже подхожу к заключению своего доклада. А в итоге, если мы вытащим сухой остаток и попытаемся заглянуть в будущее, то получается, что, как бы мы ни бравировали тем, что нам нужно что-то делать принципиально по-новому, нам нужно изобрести новые методы, новые подходы, перестать спрашивать, начать регистрировать, мы приходим к тому, что все равно будем спрашивать, потому что, когда мы регистрируем какое-то поведение, нам нужно еще доказывать связь этого поведения и того, что мы измеряем. А мы хотим понять поведение человека в день выборов. Эта связь очень часто не доказана, если мы видим какие-то корреляции, совпадения с какими-то постами в соцсетях, то это абсолютно изменяющаяся история, и валидировать ее накануне выборов может быть очень непросто, например.

Второй момент связан с тем, что Интернет, тем не менее, это очень дешевая альтернатива, и очень большой соблазн пытаться здесь сделать что-то, что избавит вас от расходов на какое-то бесчисленное количество опросов. И последний момент состоит в том, что те применения Интернета, которые мы видим как наиболее продуктивные для того, чтобы прогнозировать результаты выборов, связаны все-таки не с фиксацией интернет-поведения, а уже с опросами в Интернете. Те полстеры, которые прогнозировали выборы в Соединенных Штатах, за рубежом, часто делали это путем интернет-опросов. Делали это успешно, делали это по не вероятностным выборкам в ряде случаев, но все равно они делали это успешно. И, видимо, мы наблюдаем тот тренд, что наши методы останутся, возможно, даже модель Гэллапа доживет еще полвека, просто на других опросах и других выборах. Спасибо, коллеги, это все. (аплодисменты)

Если есть какие-то вопросы на уточнение, я на них отвечу. Если вопросов на уточнение нет, у нас есть еще записавшиеся коллеги, которым я как раз сейчас хочу передать слово. Давайте мы договоримся, что мы сейчас переходим к режиму дискуссии, в режиме дискуссии я прошу ораторов укладываться в 5 минут. У нас сейчас есть два спикера.

Евгений Григорьевич: Меня слышно будет и так, с вашего разрешения. Самая важная сегодня ситуация в том, что меньше, чем через год, будут выборы Президента. Объективную реальность можно зафиксировать не только количественными методами, не только категориями, которые дают социологи и ученые, но и образом, образом, который фиксирует единичное, типичное и существенное. Если он выстраивает событийный ряд, он видит процесс и понимает, что произойдет. Самое главное социологу – видеть факторы, которые определяют результат, даст он результат или не даст. Я должен вызывать доверие. Естественный вопрос: а вы мне доверяете? Кто ты такой, как говорил в команде Остапа Бендера? Я работал у Грушина 3 года. Из тех, кто работал с Грушиным, здесь только один Комаровский, но он – профессор Комаровский – был аспирантом у Криновича на кафедре гуманитарного факультета МГУ. Так что немножко еще и от той… Я, как динозавр, который выполз неизвестно откуда.

Как можно влиять социологу? Дело в том, что то, что мы пишем, цифры, выборка – им это не надо. Если они вам не доверяют, вы не умеете работать, вы не нужны. Но если вы четко проводите прогнозы и даете рейтинг, и он угадывается, после этого ты получаешь работу на коммерческие исследования, ты хозяин, хозяин в обществе, а не олигарх, который наворовал деньги, хапанув общественную собственность, «Норильский никель» или что-то подобное. Вот об этом я хочу сказать. если успею, в эти 5 минут.

Как можно повлиять? Я работал у Грушина, потом работал зам.директора центра научного прогнозирования Гостелерадио. Если ты работаешь честно, тебя журналисты поддерживают. Там какая публика работает на телевидении? Например, в отделе эстрады Любаша Черненко, генсека дочь. Если ты вышел на эту страду, «Утреннюю почту», ты будешь год еще потом работать и зарабатывать деньги, «косить» это называется, и т.д. И когда я сделал, к примеру, этот дневник знаменитый - весь день величина аудитории по каждому каналу видна. И когда журналисты посмотрели все эти: слушайте, почему у меня такая большая аудитория, а я тут не получаю премий? А получает премии Любаша Черненко. Социолог стал им другом и получил доверие.

Дальше, как получает доверие социолог? Меня пригласили, круг наших консультантов, в Верховный Совет СССР. Я потом сменил Лукина Владимира, который… я понял, еще 1 минуту. И там, в Избиркоме когда я оказался, я сказал: ну просто врут некоторые социологи! А он не может врать. Я говорю: Володя, как же ты врешь-то? А не надо, я же обеспечил его избирательную кампанию. Если я скажу, что он не пройдет, он же тут же откажется и не будет мне платить деньги. И он продолжает врать. Как заставить социолога говорить правду? То есть, кроме того, что вы считаете точно, и у вас есть своя мотивация, есть еще сегмент, который определяет то, что будет на выборах. Этот сегмент – Центризбирком. Как же Центризбирком поставить на место? Только когда я оказался в избиркоме…

Модератор: Как поставить на место Центризбирком – я думаю, это фундаментальная проблема, тем более, что нас сейчас наблюдает Интернет. Может быть, нам не стоит раскрывать эти секреты.

Евгений Григорьевич: Нет, я как раз скажу, я не боюсь, я динозавр, мне уже не страшно. Мы придумали единый информационный банк. Ты присылаешь мне рейтинг и свой прогноз. Рейтинг – это твоя чистота работы социолога, прогноз – это то, что там потом ты думал. И когда все выставил вот эти данные, сразу видно, кто врет, а кто не врет, кто работает на карман, а кто работает на государство. И когда, к примеру, были выборы, когда была драка за единый Союз, референдум о Союзе, рейтинг по выборам с ошибкой на 20 процентов дал ВЦИОМ. Там была тогда Заславская, Грушин и… Ну и достаточно (смеются). И тогда очень хороший был парень в первых рядах социологии, Ольшанский Вадим, а у него сын был, Дмитрий, он сказал: ну, у нас… Были Данелия, Грушин и Левада. Вот за эти 20 процентов вот этот Ольшанский дал вот такой образ. Образ работает…

Модератор: Видите, коллеги, святых нет.

Евгений Григорьевич: Так вот, после этого единого информационного банка было придумано другое: Центризбирком должен заниматься постоянным изучением эффективности правовых норм, и тогда он будет давать избирательный закон, по крайней мере, честный, и влиять, в том числе, на избирательную практику дальше.

Модератор: Евгений Григорьевич, спасибо! Нет, на Центризбиркоме мы все-таки остановимся. Коллеги, у нас здесь есть все-таки регламент.

Евгений Григорьевич: И Центризбирком был создан, как инструмент народовластия. И это было выгодно Рябову, он понял, что он будет теперь навечно и определять властные структуры. Это было выгодно Лукьянову, который был тогда председателем, и эту норму тогда провели.

Модератор: Так, я все-таки вынуждена призвать к порядку.

Евгений Григорьевич: То есть я хочу сказать: дорогие социологи, вы мне родня, а не те, которые…

Модератор: Ура. Ура, социологи, вы – нам родня! Это здорово, это оптимистичная нота, на которой мы все-таки вернемся к тематике нашей секции, коллеги. (смех и аплодисменты) Евгений Григорьевич, спасибо. Призыв влиять на то, что происходит, я думаю, программный, очень важный, и нам всем всегда хочется, чтобы наши голоса были слышны и в Центризбиркоме, и во власти, ну иногда получается, иногда – не очень. у нас есть еще одно выступление. Сергей Юрьевич Суслов, который к нам приехал из Петербурга и расскажет о том, что сегодня можно сделать на основе онлайн-пространства.

Суслов: Здравствуйте, я Суслов Сергей Юрьевич, я представляю СПБГУ, ресурсный центр. Я часто слышал здесь рассуждения про big data, про использование социальных сетей и т.п. Но это немножко будет отличаться от опросов, которые здесь представляли, и в качестве прогнозирования основным критерием, который будет показан, это возможность распространения информации. И потом в дальнейшем я расскажу, как это применять в прогнозировании. В качестве кейса мы использовали найденные политические сообщества, которые относились к петербургскому сегменту сети, и в дальнейшем с применением алгоритма расширения выборки мы смогли расширить ее примерно в 5 раз. Туда вошли не только политические сообщества, которые были не учтены в начале, но и общественно-политические – группы организаций общественных и те, кто распространяет любую информацию.

В дальнейшем мы провели кластерный анализ этих сообществ, где узлами сети выступали они сами, а ребрами – количество общей аудитории. Таким образом, с помощью кластерного анализа получилось выявить кластеры и дать их описание, и также их характеристику, которую вы можете увидеть в ??? 1:42:59.7.

В итоге, что мы можем сказать? Получилась такая картина, что ядро этого политического пространства состоит из либерально-общественных сообществ, националистических, ЛГБТ, социалистических и спортивного кластера, который имеет отношение к националистам. Как это важно? В дальнейшем мы на основании этих данных построили сеть дружбы, в которой уже участвовали в качестве узлов сами эти страницы, то есть не сообщества, а в качестве связей выступали их дружеские связи. Тем самым эта модель получилась так называемая big data, потому что количество ребер перевалило за 7 миллионов. Что нам это дало? Нам это дало возможность оценить включенность этих людей в политическое пространство. Мы сравнили общее количество друзей и то количество друзей, ту валидность в этой модели. И, таким образом, мы посчитали коэффициент корреляции для каждого кластера и получили такие цифры. В итоге, можем сказать. что конкретно в двух кластерах распространение информации идет значительно быстрее, чем во всех остальных – это кластер социалистов и либерально-общественный.

То есть как это можно применять в прогнозировании? Любые факты, которые есть в социальных сообществах, это непосредственно проявление симпатии, перепосты и комментарии можно учитывать в подсчете общественного мнения, а также на основании вот этих данных можно оценивать, насколько они валидны. Спасибо. (аплодисменты)

Модератор: Вопросы? Да, говорите.

Мужчина: У вас очень большие сообщества, с которыми вы работаете, ну Санкт-Петербург, там народу 5 миллионов. А у вас есть метод, который позволяет работать с маленькими группами, где 5-6-8 участников, и таких групп – 2-3 десятка? И они, на самом деле, очень мало слов производят, а смысл они имеют, значение они имеют.

Суслов: Смотрите, мы можем получить данные из сообщества – неважно, сколько там людей находится, если оно просто открытое. А если оно закрытое…

Мужчина: То есть у вас от количества участников это не зависит. Там эти статистические методы, они же связаны с количеством участников?

Суслов: Количество участников здесь не имеет значения. Может быть и большим количеством, и маленьким.

Мужчина: А что имеет значение, чтобы я точно понял?

Суслов: Имеет значение то, кто в них участвует, и кто участвует в других сообществах, чтобы можно было построить ребро, в котором находится общее количество аудитории, между сообщество А и сообществом Б. вот что имеет значение.

Мужчина: Тяжело с интернетчиками.

Модератор: Это сложная терминология, можно просто взять еще, в коридоре вопросы задать. Еще вопросы.

Суслов: Обратитесь, потом поговорим.

Мужчина: Если вернуться на вашу последнюю картинку, с кластерами, где у вас распределение, табличка, то мне не совсем понятно. Хотелось бы, чтобы вы пояснили, как вы формировали эти кластеры. Потому что, например, общественно-политический кластер - понятно, да, значит, сообщество, связанное с какой-то политической этой самой. Националистический кластер – извините, ребята, это тоже кластер, связанный с общественно-политической тематикой. Дальше вы выделяете «левых» почему-то отдельно.

Суслов: Я понял вас, сейчас отвечу. Мы взяли изначально вот эту выборку, то есть это понятно, ее расширили и провели кластерный анализ. Получились кластеры на основании данной модели, на основании этого графа. И мы описали те узлы, которые в нем были, как вот эти вот. Да, в кластере было большинство националистических сообществ, мы его назвали националистическим. Да, в кластере была смесь как либеральных сообществ, так и общественных сообществ, поэтому он получил такое название. Я ответил на ваш вопрос.

Мужчина: Да.

Модератор: Спасибо, коллеги. У нас осталось буквально около 10 минут, поэтому дальше я предлагаю нам продолжить общение в завершающей стадии в режиме свободной дискуссии. Дмитрий просил несколько слов с места. Кто у нас еще желает, чтобы мы поняли просто, как подносить микрофон? Еще «серому» сектору надо дать высказаться. Хорошо, Дмитрий, давайте. Буквально 2-3 минуты.

Дмитрий: Бартов Дмитрий, город Чебоксары. Я немножко прикладник, поэтому больше по теме на ваше название, по поводу прогнозов. Я утверждаю, что нынешняя практика… когда мы берем с респондентов контактный номер телефона, имя-отчество, адрес…

Модератор: Это порочная практика.

Дмитрий: Да ну. Приходится брать, иначе интервьюеры будут рисовать. Наводит определенную погрешность на опрос. Я об этом догадывался, но не знал, сколько. Поэтому мы провели исследования, мы провели в нашем городе, опросили 600 человек. 300 человек – чисто на бумажной анкете, когда мы записывали контактные телефоны, и те же самые 10 интервьюеров уже на планшетах со стопроцентной аудиозаписью, но без контактов. Мы не спрашивали ни имен, ни адреса, и сравнили два вопроса. Первый вопрос – это рейтинги политических партий. «Единая Россия» на 5 процентов, при опросе, когда мы не спрашиваем контактные данные, меньше. КПРФ – больше, ЛДПР – одинаково. 5 процентов – это как раз, вы говорите, в пределах статистической погрешности, когда ты 300 анкет… Этот вопрос не снял, это догадки. Правда, еще другой вопрос был у нас: считаете ли вы, что нам нужен или новый глава, новый губернатор республики, или нет? Там уже разница – 10 процентов. Ну ладно, хорошо. В июле прошлого года опять выборы в Госдуму, и у нас есть ВЦИОМ, который опрашивает 1000 анкет на бумаге, и есть у нас еще местный заказчик, про которого я говорил, давайте будем опрашивать на планшете. В общем, опять данных нет, и опять разница в 5 процентов по «Единой России». Я просто призываю вас, коллег, заказчиков: если опрос на планшете, давайте не спрашивать контактные номера телефонов у респондентов, тогда будут ответы более открытые и откровенные. На планшетах стопроцентная запись, геолокация.

(Реплики из зала неразборчивые).

Дмитрий: А аудиозапись тоже подделать?

Модератор: Да, аудиозапись тоже подделывают. Есть книжка «Разумна ли наша вера в результаты бумажных опросов», там расписано, как…

Женщина: А вы сначала спрашиваете телефон, а потом…

Дмитрий: Сейчас. Я понимаю.

Модератор: Вот, это ключевой вопрос.

Дмитрий: Мы всем интервьюерам говорим о том, что контактные данные надо спрашивать в конце. Но интервьюеры зарабатывают деньги, наши заказчики, тот же ВЦИОМ, я думаю, что и ФОМ – то же самое, требуют стопроцентных телефонов. Если нет телефона, такая анкета не оплачивается. Соответственно, мы и интервьюеру работу не оплатим. Понятно, что…

Модератор: Ну это неправда, мы не требуем 100 процентов телефонов, мы нас сейчас дискредитируете, нет на вас Снежаны сейчас в этой аудитории (смеется). ФОМ кричит: неправда, и ВЦИОМ кричит: неправда, заметьте! Дмитрий, спасибо. У нас есть еще один желающий выступить, коллеги, на этом мы будем завершать. Слово – «серому» сектору.

Мужчина: Я поддержу предыдущего выступающего, я тоже делал такие эксперименты, разница, особенно если речь идет о местных властях, иногда очень большая. То есть, если вы даете респонденту понять, что вы не сможете его идентифицировать потом, или третье лицо не сможет его идентифицировать, они действительно отвечают откровеннее. Но если это бумажная анкета, то вы потом как проверять будете факт проведения интервью?

Модератор: Извините, я перебью, но в начале анкеты зачитывается преамбула: все конфиденциально, контакты не сдаем. Телефон спрашивают в конце.

Мужчина: Нет, дело в том, что… Конечно, все конфиденциально, более того, мы сейчас еще по закону информированное согласие на анкету должны брать.

Модератор: Да, безусловно.

Мужчина: И которая... Я пишу всегда внизу, в анкете, но потом даю инструкцию: заполнять только тогда, когда респондент сам скажет, что он должен это сделать. И никто не говорил никогда… Но, тем не менее, люди опасаются. Но я не про это. что касается прогнозов, основная тема. Мы должны понимать, что в нашей реальности у наших избирательных опросов в ситуации нашей существует сейчас – раньше было 4, а сейчас 3,5 заказчика.

Первый заказчик – это федеральные органы, которых интересует система и то, что происходит на местах. И их интересуют рейтинги и т.д. Второй заказчик – это либо сам глава той территории, где вы проводите выборы или проводите опрос, либо заместитель его по внутренней политике. Третий заказчик – это начальник избирательного штаба и руководитель избирательной кампании, и 0,5 заказчика, а раньше был полновесный заказчик и даже полтора заказчика – это местные спонсоры, ФПГ, которые заинтересованы. Они все ставят разные задачи по прогнозированию.

Я, поскольку работаю в той зоне, где находится начальник избирательной кампании и представитель местной власти, то задачи две на прогнозирование, я просто приведу вам пример. Первая задача – вот опрос. Потенциальный кандидат – у него 30 процентов рейтинга, у нас нет задачи избрать потенциального кандидата А. Найдите, пожалуйста, из списка Б-В-Г-Д людей, которых мы можем избрать вместо него.

Модератор: Ну замечательно.

Мужчина: Задача эта ставилась передо мной в прошлом года, за прошлый сезон, 3 раза. Но они были достаточно просто решаемы. Соответственно, вы должны прогнозировать здесь не рейтинг, а вы должны прогнозировать здесь то приращение и те потери, которые может этот человек понести. Имеется в виду, лидер. И вот, значит, начинается вся эта манипуляция с цифрами, что вот эти могут проголосовать за него, а могут при определенных условиях за него не проголосовать.

Соответственно, вы, понимая, что вам нужно будет провести такую процедуру, вы пишете анкету, в которой куча проверяющих вопросов – оцените то, скажите это, подумайте про это, расскажите вот так. Вот вам картинка, что вы про это думаете? И вообще, я вам не надоел? Тоже такой вопрос иногда полезно задать в интервью где-нибудь. первая задача: здесь действительно иногда приходится сложно. Сложно, потому что тут очень сложно найти грань, где манипуляция данными, и где есть анализ. И всегда есть такой вопрос, что вы тут, на самом деле, это очень произвольно – отнести вот эту часть респондентов к тем, кто потенциально вдруг не будет голосовать за вот этого несчастного человека с буквой А, у которого 30 – рейтинг.

Второй тип прогнозирования, который ставит передо мной задачи начальник избирательной кампании. Там просто очень точно одну фразу мне в 98-м году сказал человек: ты мне рейтингов не измышляй. И мне было очень приятно иметь дело с человеком, который способен на такую аллюзию. Помните: гипотез не измышляй? Вот я с тех пор кое-где писал в справках, отчетах: я рейтингов не измышляю. Вот я знаю, что у нас кандидат имеет – голосовать за него готовы 2, а ответ на вопрос «не проголосую ни при каких условиях» - 40 процентов. Он приходит и говорит: «Я вас не для того позвал, чтобы это узнать. Я это и без вас знаю. Скажите мне, что я могу сделать, могу ли я победить»? И ответ такой: при определенных условиях, если вот…

И соответственно, вы строите свой опрос, когда вы начинаете искать, где что можно собрать. Вот эти два момента – у вас имеются совершенно разные прогнозы. Я все время работал в сфере, где вот эта фраза-девиз «я рейтингов не измышляю», и от меня никто никогда не требовал, чтобы я их предсказал. Мне говорили: скажи мне, пожалуйста, вот эти избиратели, которые сегодня готовы голосовать «за», они будут голосовать против него, и при каких условиях? Или сделать – что сделать так, чтобы они на выборы не пришли.

Ну и последний момент, связанный с прогнозом. Все время мы говорим – научный прогноз, мы все время забываем, что прогноз, на самом деле, имеет отношение к будущему. А будущее, прогнозирование будущего, это не только экстраполяция, это элемент игры, иногда это игра очень азартная, иногда это азартная игра в чет-нечет. И если вот этой игры нет, то часто прогноз не имеет смысла. И очень часто полезно иметь не вот эти математические аппараты, а очень четкое понимание, как вы, например, будете прогнозировать результаты чемпионата мира по хоккею. Я вам один секрет скажу: надо обязательно смотреть хоккейные матчи, вы тогда увидите, способны хоккеисты выиграть или нет. И соответственно, если вы имеете дело постоянно с полем, вы знаете, способен кандидат выиграть или нет. Вот это такой момент, знаете, когда вы – раз, и вдруг понимаете…

Модератор: Вы нас отсылаете к Нейту Сильверу, да.

Мужчина: Тут есть один момент, я думаю, что господину Кроснику понравится: здесь должны магические помощники. То есть такие вещи…

Модератор: Поэтому у нас в названии – хрустальный шар.

Мужчина: Сейчас я вам скажу, что это такое – это такие вещи, которые, на самом деле, формируют у вас настроение и эмоциональный настрой, эмоциональное единство с ситуацией. Одним из таких волшебников-помощников является последняя минута Miracle on the ice, 1980-го года, матч сборной СССР и США. Вот увидите, как эти пацаны вынесли «великую красную машину». Пережить это… Иногда это настолько походит на ситуацию, в которой ты находишься, когда говоришь: да, победит этот, вот что бы вы ни делали.

Модератор: Спасибо. Во всяком случае, мы поняли, что нам смотреть перед прогнозами следующих выборов - последнюю минуту матча.

Мужчина: Знаете, там очень много волшебных помощников, и на каждую ситуацию – свой.

Модератор: Возможно, вам стоит об этом написать. Коллеги, еще раз спасибо всем, кто к нам сегодня пришел рано утром, встав, найдя в себе силы. Спасибо всем, кто принял участие в дискуссии, задал вопросы. Можно продолжить дискуссию в кулуарах, за чаем.

Фотоотчет:

  • VII СОЦИОЛОГИЧЕСКАЯ ГРУШИНСКАЯ КОНФЕРЕНЦИЯ
  • VII СОЦИОЛОГИЧЕСКАЯ ГРУШИНСКАЯ КОНФЕРЕНЦИЯ
  • VII СОЦИОЛОГИЧЕСКАЯ ГРУШИНСКАЯ КОНФЕРЕНЦИЯ