VII СОЦИОЛОГИЧЕСКАЯ ГРУШИНСКАЯ КОНФЕРЕНЦИЯ

Мастер-класс Джона Кросника (Jon Krosnick) 

Материалы мастер-класса

Презентации Видеозапись Аудиозапись Стенограмма Фотоотчет

Видеоотчет:

Стенограмма:

Модератор: …профессор Джон Кросник приехал к нам из Стэндфордского университета. Итак, коллеги, я повествуют тех, кто дожил до конца трудного второго дня, несмотря на трудный день и вечер, и все уставшие, вы всё равно все пришли сюда, это очень здоровою. Сегодня Джон Кросник, который у нас присутствует, я коротко о нём расскажу. Профессор Кросник является классиком исследовательской методологии, на нашей утренней первой секции несколько человек из аудитории меня расспрашивали: «Это родственник того самого Джона Кросника?» – я говорю, нет, это не родственник того самого Джона Кросника, это тот самый Джон Кросник, который написал несколько книг большое количество статей по формированию опросного инструментария, это он придумал АйСиТи метод, который мы используем для того, чтобы техника не парных чисел, поймать респондента на неискренности. Кроме того, он писал о многих других вещах, он исследует политическое поведение, поведение респондентов. И сегодня он здесь для того, чтобы провести мастер-класс о том, каким образом метод сбора данных влияет на их качество, влияет на точность исследовательских результатов.

Это очень злободневная тема в свете того, что у нас набирают популярность интернет опросы, у нас набирают популярность опросы по выборкам, которые трудно назвать не только случайными, а в принципе, отвечающими классическим параметрам, которых требует выборки, это часто не стратифицированные выборки, а просто выборки удобства. И Джон расскажет в каких случаях эти данные могу быть использованы, в каких случаях эти данные не могу быть использованы, какие принципы не должны нарушаться.

Джон, Вам слово.

Эксперт: Добрый день! Всех очень рад видеть, и сегодня расскажу вам о тех уроках, которые мы усвоили, что касается методологии опроса, и так же хотел бы рассказать о тех возможностях, которые лежат перед нами. Все, кто умеют играть на каком-то инструменте, музыканты, поднимите руки. Почему я спрашиваю, я тоже музыкант, и я знаю, что наше обозначение мастер-класс, которое мы используем в русском языке, вместо слова воркшоп более привычного, означает в музыкальной терминологии то, что студент должен выйти, и сыграть. Но я этого делать сегодня не буду. Если будут какие-то вопросы по презентации, то обязательно поднимайте руку, чтобы какие-то прояснить недосказанности, может кому-то что-то непонятно, и чтобы Вы сразу же их задавали. Всем большое спасибо заранее.

Сейчас Вы можете видеть заголовок, который появился в «Вашингтон пост», как израильские полстеры, социологические организации пропустили переизбрание Нетаньяху. Или следующий заголовок: «Электоральные опросы в Великобритании, опять почему и как полстеры ошиблись, и нужно ли теперь США этого остерегаться в 2016 году? И следующий заголовок: «Другие лузеры на британских выборах – это именно полстеры, это именно социологические организации. Или ещё один заголовок: «Почему опросы ошибаются во стольких многих странах». И ещё один заголовок: Найт Сильвер – это имя автора, который говорит, что, к сожалению, опросы нас подводят. И последний заголовок: «Почему политические опросы так часто являются ошибочными?»

Это новые новости, скажем так, это, на самом деле, представление мира о соцорганизациях, о соцопросах, и это представление оно в корне неверно. На самом деле, как уже сказали, это действительно неправда, и, если опросы проводить правильно, я покажу сегодня, объясню, как это делать правильно, проблем никаких не будет, и результаты будут довольно-таки точными.

Для философии успешного опроса, успешного социсследования зиждется на двух основных постулатах. В первую очередь, отдельные респонденты должны описывать сами себя довольно-тки точно, то есть стараться быть искренними, с другой стороны, выборки должны отражать всю генеральную совокупность.

Однажды со мной произошла такая история, я был в Гарварде, мне представили исследователю именно в медицинской сфере, и, когда меня ему представили, и сказали, что это Джон Кросник, я социолог, я исследователь общественного мнения, этот человек ответил, поставил такой диагноз: «Жаль, Вам не повезло». Когда я спросил: «Почему же Вы так считаете, почему такие перспективы для меня ужасные обрисовали?», – он ответил, что, в принципе, любые опросы они очень сильно ошибаются, то есть у них высокий процент ошибки, и люди даже в принципе не могут сказать, назвать точно какой у них вес и рост. Люди пытаются занизить свой вес, и наоборот прибавить несколько сантиметров к своему росту. Я заинтересовался этим вопросом, решил, что да надо бы проверить, а были ли уже исследования на эту тему, нашёл примерно 25 штук таких исследований, и в них было написано… то есть они как бы проводились следующим образом: сначала людей самих попросили называть их вес и рост, то есть записывали с их слов, а затем уже говорили: «Пожалуйста, у нас для Вас сюрприз, Вы можете встать сейчас на весы, и измерить свой рост», чтобы можно было сразу понять насколько точен был ответ. Мы так же исследовали ряд опросов, ряд исследований, в которых люди сами называли вот эти два параметра: рост и вес, и так же была возможность сравнить уже с объективными показателями, с объективными именно результатами.

В этих исследованиях использовались следующие методы для того, чтобы можно было оценить точность результатов. Первый из них – это провести корреляцию, провести параллель между тем, что сам респондент сказал, назвал, какой рост и вес, и с уже объективными показателями того, что есть на самом деле. Следующий метод – это такой способ, то есть нужно провести сравнительный анализ агрегированных результатов какого-то одного исследования, опроса в процентах, и, собственно говоря, сравнить их с теми имеющимися уже критериями оценки из тех данных, которые в опросах не представлены, то есть каких-то сторонних данных. Следующий вариант, который мы использовали – это корреляция отчётов самих респондентов в наших опросах с той вторичной информацией, с теми вторичными объективными данными, которые могли получить. И следующий метод – это корреляция тех трендов, какой-то одной из переменных, опять-таки, то, что присутствует в опросах отдельных респондентов, с теми трендами, которые присутствуют в каких-то уже объективных критериях, в объективной информации, которую можно получить.

Все вышеперечисленные критерии мы смогли найти в более тысячи случаев, где как раз таки опросы самих респондентов можно было оценить по сравнению с объективными данными, с объективными измерениями. Различные типы поведения, которые были исследованы в данных опросах, можете увидеть, например: употребление алкоголя, демография, посещение стоматолога, образование, курение, уклонение от налогов. Хочу показать вам как раз один из примеров таких исследований, который, собственно говоря, представляет собой такое хорошее, точное совпадение.

Если вы посмотрите на самый низ слайда, в зависимости от того, как считался результат, 85% людей, если методом расчёта мы берём среднеарифметическое, и 88% людей, если мы берём медиану по ответам в вопросе, это количество людей дали действительно точные данные о себе, о своём, например, том же самом росте и весе. Как раз, после анализа такой литературы, мы пришли к выводу, что люди действительно честно говорят о себе.

Пример изучения веса и роста респондентов в Канаде, и как раз таки он говорит о том, что у людей есть определённая предвзятость по отношению к себе, и как они говорят об этих параметрах своих. Средний по этому исследованию рос, заявленный среди респондентов – 169 сантиметров, и 75 килограммов. Это то, что заявлено было со слов респондентов. Как раз тот человек из Гарварда медицинский работник, он действительно был прав, и, в данном случае, люди себе прибавили как минимум 1 сантиметр в среднем. С весом тоже, 2 килограмма ушли, то есть, на самом деле, настоящий все был в среднем 77 килограммов, а не 75. Это небольшая разница.

Ещё одно исследование которое было проведено в 2005 году, здесь люди говорили, что они 168 сантиметров, на самом деле – 167.

Женщина: Можно вопрос? Вопрос заключается в следующем: сколько человек принимали участие в данном опросе?

Эксперт: Я не помню, но почему Вас это так интересует? (общий смех).

Женщина: Репрезентативна ли выборка, или там 15-20 человек принимало участие, тогда эта выборка нерепрезентативна.

Эксперт: Здесь, на самом деле, репрезентативность не так важна, и количество опрошенных тоже не так важно, потому что, в принципе, мы сравниваем то, что человек говорит о себе, и нужно понять насколько это правда или нет, то есть сам фак: говорит ли он правду, или он что-то преувеличивает или приуменьшает.

Женщина: Но ведь так же может различаться по культурным признакам… ну ладно, это уже такие более… Спасибо.

Женщина: Тогда получается, что смысл всего исследования просто понять, подтвердить мнение доктора Хауса: «Все врут» (общий смех).

Эксперт: (смеётся). Конечно же такая ситуация может быть, но опять-таки количество замеров было более 500, и, в принципе, для такого количества разница, которую, скажем так, привирали респонденты, она не настолько высока, и я хочу спросить у вас, вы можете ответить на вопрос, сколько вы весите?

Женщина: А у Вас весы есть? (общий смех).

Эксперт: Иногда понимание нашего веса – это игра в некоторую угадайку, то есть мы примерно себе представляем сколько мы весим, но с точностью иногда даже до килограмма Вы сможете сказать, потому что утром весите одно, потом больше, меньше, поэтому это нормальная ситуация.

Некоторые результаты мы сейчас пропустим, они все примерно одинаковые, что успеете увидеть – замечательно. График, который представляют за период с 1970 по 1995 годы, в котором фактически каждый месяц у случайной выборки американцев спрашивают: «Подходящее ли время для того, чтобы купить машину?» Люди естественно отвечают по-разному, иногда «да», иногда «нет», и как раз таки тёмная линия – это результат опроса. Линия, которая потоньше – это реальное количество машин, которые в то время были проданы в Америке. Корреляция довольно-таки высокая, поэтому действительно, если люди говорят, что да, время купить машину – люди покупают машину. Необязательно те, кто участвовал в опросе, любые американцы это делают.

Покажу ещё несколько графиков на различные тематики, которые тоже показывают ответы респондентов и различные данные, полученные уже различными исследовательскими компаниями. Этот график посвящён ожиданиям по поводу безработицы, и реальным изменениям в уровне безработицы. Как можно увидеть, опять-таки, жирная линия показывает ожидания людей по безработице, как можете видеть, респонденты предвосхищают то, что затем происходит.

Опять-таки, такая же тенденция, здесь показаны ожидания процентных ставок, и, собственно говоря, то, что было на самом деле, какие изменения в процентных ставках проходили, если мы посмотрим на сочетание жирной, тёмной и светлой линии, респонденты предвосхищали актуальные события.

И ещё один без объяснений, и ещё один. Просто поверьте мне, что это действительно так. И всё-таки в опросах есть определённая точность, потому что вопросы, как могли мы сейчас видеть, они предвосхищают реальные события, которые происходят уже после.

Я хочу Вам наглядно показать несколько примеров того, как хорошо, правильно научно проведённое исследование или опрос, действительно могут предсказать результаты с очень высокой точностью. И здесь мы как раз переходим к теме точности предвыборных исследований предвыборных опросов. График описывает то, как менялась ошибка в результатах проведённых опросов с 36-го года, по 2004 год в предвыборных опросах. И, как можно видеть, с течением времени, несмотря на определённые флуктуации, ошибка эта выборки становилась меньше, меньше и меньше.

В 80-м году, если вы проведёте линию, то можете увидеть, что ошибка была довольно-таки высокой, после этого уже тренд устаканился. И в 58-м году как раз таки началась история квотированной выборки, то есть после уже случайная выборка. То есть говорили о том, что для выборки нам нужно такое-то количество мужчин, женщин, высоких, низких, то есть именно давали определённые квоты. В 58-м году уже началась история настоящей случайной выборки. Интервьюеры ходили в случайно выбранные домохозяйства, дома, и случайно выбирали респондентов там. Только что показанные исследования, опросы, они были сделанные с помощью телефонных звонков, опять-таки, это был случайный набор номера. И метод случайной выборки работал очень даже неплохо.

Перейдём уже к более недавним событиям 2008 год – выборы президента США, согласно правительству, результат был следующий: Обама набрал почти 53%, Маккейн набрал около 46%. То, что касается опросов, которые проводились перед выборами, то результаты следующие: Обама набрал 52%, Маккейн 44,5%. Очень близкие результаты к тому, что было на самом деле.

Теперь к ещё более близким событиям 2016 год – выборы президента США. Здесь результаты официального подсчёта голосов и опросов, которые проводились CBC и «Вашингтон пост», согласно этим опросам, это опросы, что называется опросы населения. Для нас она может быть не совсем понятна двухступенчатая ступенчатая система выборов, люди выбирают сначала выборщиков, потом уже выборщики голосуют за определённого кандидата. Но, согласно этому примеру, можно увидеть, что результаты опросов они достаточно близки к тому, что на самом деле.

Как вы думаете, сколько такой опрос может стоить? Примерно 40000 долларов для того, чтобы провести такой опрос 1000 человек.

Женщина: (говорит по-английски).

Эксперт: (говорит по-английски).

Женщина: (говорит по-английски).

Женщина: То есть разные абсолютно группы людей, соответственно, какая может быть ошибка выборки, если слишком мало людей опрошено, соответственно выборка может быть нерепрезентативной.

Женщина: А Джон говорит: «Ну и что, 5 человек опросили, и слава Богу». Спросили сколько, потому что он сказал сколько стоит исследование… (общий шум, говорят одновременно).

Эксперт: Здесь метод используется следующий, это опять-таки рандомная случайная выборка с использованием телефонных звонков. И в Америке телефонные номера составляются следующим образом: 3, цифры, 3 цифры, 4 цифры. Первые две группы цифр берут из реальных телефонных баз, а последние 4 цифры они действительно случайно выбраны. И в таких случаях звонки по поводу опроса производятся до тех пор на случайно выбранные номера, пока кто-нибудь не ответит. Причём, это могут быть, как стационарные телефоны, так и мобильные номера. И, если они звонят на мобильный телефон, то естественно опрос проходит, респондентом является тот человек, который берёт трубку, если они звонят по стационарному номеру в какой-то дом, в какую-то квартиру, то тут уже выборка опять происходит случайным образом, спрашивается, сколько взрослых в квартире проживает, и выбирается случайным образом один человек, с которым опрос и производится. Если возьмёте 1000 человек, и таким образом проведёте опрос, то точность будет достаточно высокая.

Существует так называемый эффект Брэдли, это как раз затрагивает вопрос о том, что многие респонденты могут что-то приврать, сказать неоткровенно. На самом деле, такая получается дискриминация наоборот, некоторые белые американцы стесняются сказать, что они хотя проголосовать за белого кандидата, и говорят, что они голосуют за афроамериканца за чёрного кандидата. Соответственно, в таком случае результаты опроса они преувеличивают значимость афроамериканцев кандидатов.

Согласно этому графику можно увидеть, что всё-таки разницы какой-то лжи в больших количествах не было, и респонденты стараются отвечать честно. И в тех точках, где синяя линия близка к пунктирной линии как раз таки тоже можно увидеть, что результаты опросов, и реальные уже результаты они довольно близки были друг к другу.

Девушки задавали вопрос по поводу выборок, чем больше выборка, тем лучше, тем она более репрезентативна. Мы уже выяснили, что первая главная идея была именно в оценке стоимости данного опроса. Девушки конечно же тоже правы, чем больше выборка, тем больше репрезентативность, тем больше точность результатов, и я хочу показать различные факторы, доказывающие, что это так.

Результаты опросов, которые проводились перед референдумами, и различные экстраполяторы, которые проецировались на абсолютную ошибку. Данное число 5,48 со звёздочкой показывает, что раньше у нас был довольно-таки высокий процент ошибок, сейчас он снизился. Чем больше временное расстояние между опросом и выборами, тем больше вероятность ошибки. То есть, если вы хотите получить более точные результаты, нужно проводить опрос ближе к дате выборов. Опять-таки, чем больше людей мы опрашиваем, тем более точный результат. Чем больше людей говорят, что они ещё не определились с кандидатом, которого они хотя поддержать, тем больше будет ошибка в выборке.

Это всё пропускаем, переходим к выводам… Согласно выводам, которые были сделаны, точность опросов довольно-таки высока при следующих условиях. Если опрос был проведён не так давно, то есть свежие результаты, плюс расстояние временное между опросом и выборами тоже небольшое, выборка большая, опять-таки, о чём мы говорили, и ещё одно важное условие, сам вопрос, который задаётся респондентам должен точно совпадать с формулировкой в бюллетени избирательной. Если опрос соответствует всем этим характеристикам, всем этим критериям, то ошибка нулевая.

Сейчас хотелось бы поговорить о формулировке вопросов в опросниках, анкетах, они тоже очень сильно влияют на точность результатов. Здесь мы можем видеть различные опросы, которые были проведены в период с апреля 2010 года по апрель 2011 года, то есть в течении года с апреля по апрель, и вопрос был следующий: «Где был рождён Барак Обама». Результаты тоже получились разные, то есть в каких-то опросах правильный ответ угадали всего лишь 50% американцев, но в некоторых опросах процент правильного ответа был достаточно высок – примерно 84%. Это были случайные выборки на довольно-таки большой базе.

Почему же таки разные результаты, почему же в опросах, которые проводились примерно одинаково, такая большая разница в результатах? На самом деле, проблема в формулировке самого опроса. Можете посмотреть на формулировки. Первая формулировка: «Вы думаете, что Барак Обама родился в США или нет?». Следующая формулировка: «Вы думаете, что Барак Обама действительно родился в США, возможно родился в США, возможно родился в какой-то другой стране, или же точно родился не в США, а в другой стране?» И ещё одна формулировка: «Как Вы знаете, некоторые люди предполагают, что Барак Обама родился не в США. Думаете ли Вы, что: Барак Обама не родился в США, Барак Обама родился в США, или же не очень понятно, родился ли он в США или нет?». И последний вариант: «Согласно американской конституции, американские президенты должны быть рождены в США, то есть люди, которые родились именно в США, другие люди, которые приезжие, не могут претендовать на эту должность. Некоторые люди говорят, что Барак Обама не родился в США, а он родился в другой стране. Как Вы думаете, родился ли Барак Обама в США, или Вы думаете, что он родился в другой стране?» И как раз различные формулировки в итоге повлекли за собой совершенно разные результаты опроса. И самое большое количество правильных ответов получили открытые вопросы: «Как Вы думаете, где родился, по Вашему мнению, президент США Барак Обама?», очень простой вопрос. Если кто-то отвечал, что он не знает, затрудняется ответить, то человека спрашивали: «Думаете ли Вы, по Вашему мнению, как Вы считаете, Барак Обама родился в США или в другой стране?» Как раз такие вопросы показывают, что люди давали правильные ответы.

Правильная подборка формулировки, парильное формулирование, причём, очень такое аккуратное и точное формулирование вопроса довольно-таки значимо для дельнейших результатов опроса. Если Вы сделали хорошую формулировку, то неважно каким способом опроса Вы пользуетесь, отвечают ли люди по телефону, заполняют ли люди письменную анкету, отвечают ли на опрос интернете. Но это неправда. И я хотел бы показать сравнение интервью опросов по телефону, и интернет опросов.

Хотел бы рассказать об эксперименте лабораторном, где 332 подопытных кролика – респондента были приглашены в специальные комнаты и некоторым из них предложили ответить на анкету на компьютере, некоторым же дали специальные наушники с внутренним телефоном, и с ними общались живые интервьюеры. 63% результатов именно компьютерных опросников показали лучший вариант, нежели, чем… то есть в первом варианте не было ни одного случая, когда телефонные опросы были более точными, чем компьютерные опросы, и 63% показали, что компьютер является более точным методом опроса, нежели телефонный опрос.

Здесь проблема в порядке представления вариантов ответа, и вопрос был следующий задан респондентам: «Какая является самая важная проблема, с которой сейчас столкнулась страна?», и, соответственно, здесь вариант ответа «преступность» – он мог быть поставлен первым списке ответов, он мог быть последним.

Здесь можно наблюдать следующую картину, если мы говорим о телефонных интервью над этими подопытными кроликами, когда ответ, что преступность является одной из главных проблем, с которой сейчас столкнулась Америка, если этот ответ шёл первым, его выбирали лишь 48% респондентов, если этот ответ шёл последним, Вы можете увидеть синенький столбец 63%. Мы думаем, что, на самом деле, порядок ответов, которые мы даём в анкете, он ничего не значит, на самом деле, он играет достаточно важную роль в телефонных опросах.

То, что касается компьютерных опросов, здесь мы уже видим, что фактически нет никакой разницы был ли этот вариант ответа первым или последним. Опять-таки, это ещё одна причина, чтоб быть уверенным в точности опросов, проводимых с помощью компьютера.

Мужчина: У меня вопрос: сколько было вариантов ответа в этом опросе? Это был длинный список, или это бело несколько?

Эксперт: Всего 5 вариантов ответа.

Мужчина: Я задал вопрос просто потому, что, как я понимаю, если список был большой, то респонденту в телефонном опросе, когда он не видел этот список, было проще назвать самый последний вариант, если бы там было действительно много вариантов, но 5, наверно, это не очень много.

Эксперт: Да.

Женщина: Можно ещё вопрос? Может быть Вы пробовали тестировать какие-то закономерности на другом выборе… может быть действительно преступность и насилие – это важные проблемы, не пробовали ли Вы задавать вопрос другого порядка, например, не проблема, а наоборот сместить фокус на радостях каких-то, на положительных моментах?

Эксперт: Да, может быть.

Женщина: Я к тому, что работает ли эта закономерность всегда, что человек выбирает чаще последний вариант ответа, или это зависит от тематики, например, от негативной или позитивной?

Эксперт: У Вас замечательный вопрос, я могу Вам прочесть двухчасовую лекцию об этом, литературу, которая тоже это изучает. Если Вы зайдёте на мой сайт, и вобьёте в строку поиска «Порядок ответов в опросниках», Вы сможете прочитать большое количество статей на эту тему.

Женщина: Спасибо.

Эксперт: Всё-так компьютерные опросы они лучше, чем телефонные опросы именно с точки зрения точности результатов. Это Уильям Сорос, этот человек, что он сделал в 80-е годы в Нидерландах, он поставил компьютеры, они были ещё не настолько распространены в каждом доме из 1000 случайно выбранных домохозяйств. Таким образом вот эти случайно выбранные дома они получили бесплатный компьютер, что в 80-е года было определённой новинкой. И в те времена компьютеры были очень большими, но, при этом, они были ещё и очень редкими, поэтому это был очень щедрый подарок от университета, в котором работал человек. И условием такого щедрого подарка, всё-таки это был не совсем бесплатный подарок, было следующее: каждую неделю жители этого дома должны были заполнять определённые опросники, которые им давали в течении некоторых лет.

Эта идея была на самом деле очень умной, предвосхищающей нашу современность, тоже самое было сделано не так давно в США следующими компаниями: 58мин.53сек. В Нидерландах до сих пор эта практика продолжается, ею занимаются компании с интердата, и у них есть две панели «Сентер панель», и «Мэнслис панель». Идея такая, люди получают бесплатно компьютеры в своё пользование, опять-таки за это они должны еженедельно заполнять опросники. И примеру Нидерландов, затем и примеру США последовали: Германия, Швеция, Норвегия, Швейцария, Франция и Исландия. Тут как раз перечислены называния тех организаций, которые проводят такие опросы.

Насколько такая практика работает, и даёт ли она точные результаты? Здесь вы можете видеть средний показатель ошибки у опросов вероятностной выборки: телефонной и интернет опросы, и можно увидеть, что результаты они не очень сильно отличаются. Если мы говорим о политических предвыборных опросах, то там ошибка обычно составляет около одного процента, здесь уже ошибка побольше 3–3,5%. Интернет получше, чем телефон с точки зрения проведения опросов. Слева результаты по телефонным опросам, справа результаты по интернет опросам. Различные измерения с различными процентами ошибки. Справа вы можете увидеть, что столбцы, показывающие ошибку, они всё-таки ближе к нулю, тогда, как слева вероятность ошибки всё-таки выше. И в интернет опросах обычно ошибка меньше, чем у телефонных опросов.

Существуют в наши дни огромное количество методов, с помощью которых исследуется общественное мнение, и здесь вопрос, который можете видеть на слайде, действительно ли нужно нам отказаться от случайной выборки? Сейчас и в России наиболее популярным методом является добровольное согласие на участие в опросах, а не случайный выбор домохозяйств, соответственно, людям предлагается заполнение каких-то анкет и опросников взамен на вознаграждение.

Насколько всё-таки нужно отказаться от случайной выборки полностью, когда можно получить за гораздо меньшие деньги гораздо большие результаты, просто проводя интернет опросы? Одна из причин почему некоторые люди считают, что стоит отказаться от случайной выборки, это то, что уровень отклика, к сожалению, с каждым годом падает и падает. На графике Вы можете видеть уровень откликов, который с годами падал, откликов на опросы телефонные, когда случайный набор цифр идёт, и Вас уже опрашивают. Как раз таки критики случайной выборки они приводят вот эти данные в качестве того, что случайная выборка уже никому не нужна.

Многие компании, которые являются противниками случайной выборки, они пытаются Вас убедить с помощью вот этих результатов в том, что случайная выборка больше не нужна, но, на самом деле, результаты они показывают, что да, уровень откликов падает, но точность результатов она не падает, то есть об этом тоже не стоит забывать.

Мужчина: (говорит по-английски).

Эксперт: Тот, кого мы не интервьюируем, нам нужен их вклад всё равно. Насколько эти люди, которые отказываются участвовать в опросе, отражают ситуацию, и, в принципе, они не влияют на точность результатов.

И ещё один аргумент против случайной выборки в том, что такой метод достаточно дорогой, то есть было бы намного дешевле использовать другие методы. И этот метод случайной выборки он достаточно долговременный, особенно, если мы берём дозвон по случайным комбинациям телефонных номеров, когда пытаются дозвониться в течении долгого времени, если же мы возьмём обычный интернет опрос, можно получить результаты намного быстрее, буквально за секунду.

Я предлагаю следующую альтернативу – квотированную выборку. То есть в таком случае пусть люди добровольно участвуют в интернет соцопросах за определённую плату, и, таким образом, мы сможем проследить за тем, чтобы у нас была нужная пропорция мужчин и женщин, нужная пропорция молодёжи, нужная пропорция старшего поколения.

Мужчина: Есть люди, которые занялись бы, возможно, чем-нибудь другим потратить своё драгоценное время на что-то другое, нежели, чем на заполнение опросников.

Эксперт: Не забывайте эту идею, мы сейчас к ней вернёмся. Это как раз таки идея, которые предлагают многие компании по всему миру, это идея, это способ, который позволит, как сохранить деньги, так и провести достаточно быстрый опрос. Я думаю, Вы понимаете, к чему я веду. На самом деле, идея не такая уж и замечательная, это отбрасывает нас в 40-е годы со всеми их неточностями поросов и высокой ошибкой. Это как раз, что различные СМИ здесь говорят о таком варианте… в «Нью-Йорк Таймс» написали следующее: «Одна компания, которая занимается интернет исследованиями, и которая интервьюирует волонтёров добровольцев, говорит то, что она может предсказать результаты выборов, и так же потребительские предпочтения с большей точностью за меньшие деньги, чем когда-либо то ни было. И другая компания говорит, что их результаты предвыборных опросов были очень близки, или ближе к реальным результатам, чем традиционные методы опроса.

Естественно, компании, которые занимаются такого рода исследованиями, они рекламируют себя, и говорят, что да, мы проведём исследования быстрее, дешевле, и с большей долей точности. С точки зрения бизнеса идея замечательная, Вы создаёте сайт, люди добровольно регистрируются на этом сайте, заполняют опросники, и Вы всего лишь сидите, и смотрите, что всё хорошо, опросы проводятся, деньги мы на какие-то другие опросы не потратили. Насколько это работает, правдиво ли это? Это правда.

Первые два столбца мы уже видели: телефонные опросы, интернет опросы со случайной выборкой, соответственно, ошибка около 3%. Номера с до 7 – это 7 компаний, которые проводили невероятностную выборку, и, соответственно, ошибка, которую они получили, намного выше. Опять-таки первые два графика мы уже видели, третий график – это опросы детерминированные, невероятностные, не случайные, и здесь можете видеть, что столбцы, которые показывают ошибку, они больше, чем в предыдущих двух, которые слева в первом и втором. Это не одно единственное исследование, которое доказывает данный тезис, действительно, существует уже много исследований в Нидерландах и по всему миру, которые показывают, что действительно, если Вы делаете выбор в пользу случайной выборки, то результаты будут достаточно точными, но, если же Вы хотите сэкономить на времени и деньгах, ошибка будет выше и выше.

Ещё одно исследование, проведённое в США в 2007 году, сравнили результаты интернет опросов добровольных, людей, которые сами решали присоединиться к опросу, то есть это детерминированная выборка, и результаты случайной выборки методом личного опроса фейс-ту-фейс. Соответственно, результат такой, что в большинстве случаев вариант случайной выборки он намного точнее, чем детерминированный. И нам не нужно видеть реальные результаты, для того, чтобы понять, что метод детерминированный невероятностной случайной выборки он подвержен ошибкам.

Очень простой вопрос, респондентов спросили: «За последний месяц сколько раз Вы ходили в кино?» В случайной телефонной выборке 30% респондентов сказали, что они ходили в кино… Это результаты семи компаний, которые исписывали метод детерминированной выборки, и смотрите на результат: две из них дали компании достаточно близки к этим 30%, и тут вы можете видеть большой разброс от 40% до 80%. Естественно, все они быть правы не могут. Если Вы покупаете результаты опросов у одной из таких компаний, Вы не знаете насколько действительно точны результаты опросов такой компании, то есть какой из них она является, близки ли они к реальным результатам, или же они в 2 раза больше.

Мужчина: 01час.19мин.34сек.

Эксперт: Эти 7 компаний квотированная выборка, то есть по сути метод один и тот же, не случайный.

Женщина: …может они разные.

Эксперт: 1000 респондентов на опрос.

Мужчина: Почему привели здесь результаты замеров разных компаний, методов онлайн интервью, и только один посвящён соответственно телефонному. То есть данные о телефоне, как между разными компаниями, никогда не отличался друг от друга, даже при нарушении методологии…

Женщина: А почему мы решили, что наш этот телефонный опрос эталонный?

Эксперт: Хороший вопрос. Нам главное здесь не насколько был точен телефонный опрос, а проблема в том, что разброс результатов слишком разный. Телефонный опрос всё-таки боле точен, потому что во всех предыдущих примерах, которые мы видели, другие методы они не были точны.

Женщина: Представляем результат, я правильно поняла, что это тоже 2007 год? То есть на предыдущих слайдах были результаты 2007 года.

Эксперт: Да, и тут проблема даже не в годе, не в том, что это было проведено 10 лет назад, 15 лет назад, Подобные исследования проводились уже много раз, и последнее было проведено в прошлом году, результаты были такие же.

Женщина: Если несколько компаний пользуются телефонником, то случайная выборка 01час.22мин.09сек.?

Эксперт: Хороший вопрос. Да, действительно, к сожалению, слайда для подтверждения этого нет, но, если различные компании будут проводить именно телефонный опрос, то результаты будут примерно одинаковые.

Женщина: Так это интернет опрос?

Эксперт: Да, это интернет опрос.

Мужчина: Можно вопрос? Если у нас колонку номер 3 убрать как маловероятной экстремум, то разброс будет не очень велик, и вполне объясняться может… Вот этот 3 можно считать маловероятным экстремумом, можно убрать его, маловероятное экстремальное значение. Разброс, который остаётся после этого, будет не столь велик, и, на мой взгляд…

Женщина: …процентов разница будет…

Мужчина: Нет, дело в том, что разброс, который после этого остаётся, может быть объяснён тем, что Вы разные сегменты генеральной совокупностью опрашивали. И в результате возникает вопрос, к которому мы возвращаемся, телефонный опрос почему является эталонным? Дело в том, что эта картинка выглядит совершенно замечательно именно из-за наличия компании номер 3… но 20% да, бывает.

Эксперт: Все эти компании заявляют, что они предоставляют высокие очень по точности результаты. То есть даже, если мы берём третью колонку, всё равно будет 20%.

Мужчина: Нет, это конечно многовато, но это всё-таки не разница 50%.

Эксперт: Единственная возможность выбросить этот третий результат, это купить 3 опроса у всех семи компаний, и понять, что что-то тут не так.

Мужчина: Или сложить, и сделать один столбик.

Мужчина: 01час.25мин.03сек. можно ли говорить о том, что эти данные по всему населению США?

Эксперт: Ещё раз, это детерминированная выборка, это те люди, которые добровольно участвовали в опросе. Опять-таки, если мы вернёмся к мистеру Соросу в Нидерландах, который подарил каждому домохозяйству компьютер, тогда это будет настоящая случайная выборка. Я предлагаю два варианта интерне опросов: с одной стороны, это поросы с реально случайной выборкой, которую я считаю хорошей и достаточно точными, и интернет опросы с добровольцами, скажем так, со стихийной выборкой.

Мужчина: Какой срок окупаемости у компьютеров?

Эксперт: По всему миру существуют компании, к сожалению, не могу точно сказать, какая окупаемость, но, в любом случае, я не думаю, что это проделает такую огромную дыру в бюджете, взамен на те данные, которые они получили.

Женщина: (говорит по-английски).

Эксперт: К этому вопросу вернёмся позже. Следующий вариант опроса: «За последний месяц видели ли Вы какой-нибудь фильм, необязательно в кинотеатре, просто видели ли какой-нибудь фильм?» Первый столбец 55% - это опять-таки случайная выборка, и снова 7 компаний, которые задали тот же вопрос, но использовали детерминированную выборку. Какие результаты – можете видеть, все можем увидеть разброс, примерно та же самая идея.

Ещё одни нидерландские исследования, здесь показана средняя ошибка для случайностной выборки 1%, все остальные, которые я показал, это другие компании, которые использовали детерминированную выборку, не случайностную выборку, невероятностную выборку, соответственно, результат ошибки, который вы можете видеть.

Совсем свеженькое исследование, здесь средняя ошибка 4%, это было для случайной выборки, соответственно, 4,5% – это такая комбинация случайностной выборки с участием некоторых добровольцев детерминированной выборки. И опять-таки ситуация в тех компаниях, которые проводили детерминированную выборку без метода именно случайной выборки. Это те компании с 3-го столбца и далее, которые говорят, что мы сделаем всё быстрее, дешевле и точнее, но, если бы это было так, то я бы показал, какой должна быть ошибка. Распределение абсолютных ошибок, можете видеть разницу между ошибками выборки. Для терминированной выборки ошибки больше. Это не должно нас удивлять, потому что никакой научной причины не существует для того, что выборка детерминированная, состоящая из добровольцев должна быть точно.

Следующая гипотеза, действительно можем сказать, что мы понимаем, что детерминированная неслучайностная выборка она не настолько точна в своих результатах, но, при этом, такие методы они всё равно показывают определённые изменения в различных ответах людей. Насколько это верно? Здесь мы будем смотреть на исследования, которые сравнивают результаты случайностных исследований, с применением случайностных выборок и детерминированных выборок, насколько результаты таких двух групп исследований совпадают. Для некоторых переменных совпадение может быть. Здесь две линии, одна тёмная жирная, другая со звёздочками, одна из них – это случайностная выборка дозвон по случайному номеру, и вторая – это интернет опрос с добровольцами. Как вы можете видеть, они идут примерно одинаково, близко друг к другу. Соответственно, можно делать вывод что это неплохой вариант, соответственно, можем использовать детерминированную выборку для наших исследований. Но нет (общий смех).

Здесь тенденции не совпадают, то есть можем посмотреть, что разница между ними достаточно велика. Иногда результат не просто не совпадает, он ещё и противоположен. Мы можем видеть, что случайностная выборка идёт вниз, в то время, как детерминированная выборка она ползёт наверх. И обратная ситуация для другого периода, и снова, и снова. Соответственно это не есть хорошо, и мы не можем сравнивать такие результаты, хотя, с одной стороны, если мы говорим о детерминированной выборке, конечно же мы тратим на неё меньше денег, а случайностная выборка она более дорогая.

Представим себе такую ситуацию, мы проводим очень простой эксперимент, берём 1000 человек делим на две группы. Одной группе показываем замечательную рекламу «Макдональдса» соблазнительно, другой группе мы эту рекламу не показываем. И потом задаём вопрос: «Насколько Вам нравится «Макдональдс?» Результат, который мы получим, мы включаем в опросники. Получаем ли мы один и тот же результат каждый раз? К сожалению, нет. Иногда мы можем как раз таки видеть результаты в различных семи исследованиях семи опросах, иногда мы получаем тот результат, который был ожидаем, иногда мы получаем совершенно противоположный результат, иногда вообще фактически не получаем нормального результата.

Каждый из этих столбцов – это по сути 1000 человек, но из разных компаний, которые проводят эти исследования. У нас очень много статистических данных, но результаты каждый раз разные. Это не есть хорошо.

И ещё один вариант, 4 раза результат, который мы ожидали статистический он действительно есть, и 3 раза мы его не получили.

Принимая во внимание всё то, что мы увидели, несмотря на то, что уровень откликов и уровень участия респондентов в опросах с каждым годом понижается, всё равно, я считаю, что случайностная выборка – это самый лучший путь к получению точных результатов. Если кто-нибудь скажет Вам, что он может получить такие же точно результаты, но за гораздо меньшую цену, и намного быстрее, должны ли мы им верить – нет. Если Вы компания, которая получает определённые данные опросов, которые на самом деле не очень точные, но Вам нужно продать Ваши результаты, как точные, вот, что Вы можете сделать, Вы можете подсунуть кому-нибудь под нос табличку из «Нью-Йорк Таймс».

Эта табличка описывает результаты выборов президента США в 2012 году, многие компании естественно прогнозировали результаты данных выборов, но это средняя ошибка с небольшой средней ошибки, либо до довольно-таки значительной. Здесь можно увидеть разброс компаний, которые использовали различные методы, опять-таки: случайностную выборку и детерминированную выборку. Если Вы хотите продать Ваши результаты опросов, и Вы пользуетесь детерминированной выборкой, Вы можете указать на результат «Гугл консьюме сервис», который получили достаточно точный результат, но, при этом, они пользовались не случайностной выборкой, не вероятностной выборкой. Если бы я вам сказал, я бы вам конечно же соврал.

Этот список включает только те компании, которые провели как минимум 5 опросов за последние 3 недели. Чтобы попасть в эту табличку компаний, которые занимаются телефонными опросами, должна была провести как минимум 5 опросов за 3 недели. Если мы сюда ещё добавим компании, которые проводили хотя бы одно исследование за последние 3 недели, снова смотрим на ошибки, и видим, что ошибки не такие уж и высокие, достаточно маленькие около 1%. И опять-таки подавляющее большинство этих компаний, которые сейчас указаны, это те компании, которые сейчас используют случайностную выборку. Если вы посмотрите на эту колонку, то можете увидеть, что самый высокий процент выборки, это полтора процента.

Вернёмся к предыдущей табличке, здесь уже разброс ошибок больше. Это подтверждение того, что я говорю сегодня весь день, что случайностная выборка – это действительно очень хороший вариант проведения социологического исследования.

Метод выборки «Вылавливания из реки», скажем так, когда, например, Вы сидите в интернете, что-то делаете, что-то ищите, и у Вас вылезает баннер, который говорит Вам о том, что, если Вы хотите пройти опрос, кликните, и получите какую-то денежку. Или, например, Вы читаете какую-то газету, какую-то статью в онлайн газете, прочитали какую-то часть буквально пару параграфов, дальше хотите прочитать, и Вам снова окошко: «Пройдите опрос, и сможете прочитать дальше». То есть здесь о добровольном участии никакой речи не идёт. И такие компании, которые продают такого рода опросы с использованием «Вылавливания из реки», они говорят, что они лучше, чем те компании, которые используют детерминированную, добровольную выборку, потому что они просто вылавливают людей в процессе их обычной жизни, и, соответственно, получают определённые результаты. Насколько всё-таки «Вылавливание из реки» результат погрешности измерений мала, если сравнить с предыдущими, можно увидеть, что ещё выше. Это самое ужасное, это самый плохой вариант выборки.

И выводы, которые мы можем сделать из всего этого сказанного: первый из них – действительно результаты опросов могут быть очень точными, второе – что мы должны очень ответственно подходить к вопросу составления опросов в анкете, третье – мы должны выбирать оптимальный вариант метода, который мы будем использовать, и, собственно говоря, если мы говорим об этом именно варианте выборки, который мы должны использовать, это, по моему мнению, всё-таки случайная выборка. И я надеюсь, что все эти доказательства, все эти графики, которые я показал, действительно смогли вас убедить в том, что, если мы будем пользоваться научным методом, то этот метод поможет нам получать чётки, хорошие, точные результаты. Если вы работаете в организации, которая занимается общественным мнением, организация, которая проводит опросы, и, при этом, вы считаете, что вы не можете проводить поросы с использованием вероятностной выборки, случайной выборки, потому что это слишком дорого, и клиентам это не подходит. В таком случае я посоветую вам сделать следующее, вы должны поступать так, как поступают автодилеры, которые показывают вам, что одна – чудесная, красивая, дорогая машина, и машина подешевле – и похуже, соответственно, не заставляете покупать именно дорогую машину, но, они, покупая более дешёвую машину, они понимают, на что они идут.

Женщина: Можно вопрос? Почему всё-таки случайная выборка является более дорогой, ведь там выбирается абсолютно любые люди, поэтому… наоборот…

Эксперт: Почему случайная выбора дороже, во-первых, это и по времени дольше, плюс Вам нужно составить эту выборку, Вам нужно, если мы говорим о телефонных опросах, дозваниваться постоянно, а время – это тоже деньги. Если мы говорим об онлайн опросах, с точки зрения бизнеса – это оптимальный вариант, потому что Вам не нужно людей в качестве интервьюеров привлекать, сейчас это возможно с помощью роботизированных каких-то… в принципе, в интернете уже анкета составлена, Вы ещё заполнили. Дёшево и сердито.

Мужчина: Можно вопрос? Вопрос вот какой, если у нас количество людей, которые хотят отвечать на интервью постоянно падает, и достигло уже некоторой достаточно незначительной величины – 30-40%, то почему случайная выборка в такой ситуации не становится точно такой же, как так антипод, который Вы описывали, которая преднамеренная? Потому что и тут, и там отвечают добровольцы, то есть те, кто хочет ответить. Только в одном случае там есть маленький нюанс, что вроде как деньги какие-то дают, но у нас за длинные анкеты везде деньги дают.

Эксперт: Здесь проблема как раз таки в случайности выбора, то есть в случае случайностной выборки, я действительно выбираю респондента, и прошу его ответить на вопрос.

Мужчина: Я имею ввиду вот, что. Я понимаю, что телефонный опрос… представим себе, что это всё-таки опрос, который делается фейс-ту-фейс по месту жительства, там неважно бумажная у Вас анкета или планшет. Вы заходите в квартиру номер 1, Вам говорят: «Я с Вами разговаривать не буду». Номер 2, номер 3, наконец Вы находите человека, который соглашается Вам отвечать. Поскольку вот это расстояние между первой попыткой и удачной попыткой не всегда разные, то теоретически эта выборка не является простой вероятностной.

И тот же самый момент связан с телефонным опросом, Вы делаете первую попытку дозвона, и у Вас, например, удачное интервью будет на пятой в первый раз, на второй – на 15-й попытке. И снова мы имеем ситуацию, когда теоретически эту выборку нельзя считать простой вероятностной. Или я что-то не понимаю в теории?

Эксперт: Я не буду придираться к терминам, есть одна группа «а», другая группа «б», одна из них даёт точный результат, а другая нет.

Мужчина: Это очень хороший способ (смеётся).

Женщина: У меня сложилось впечатление, что возможно это трудности перевода, возможно это разные школы подготовки, но случилось смешение разных социологических терминов: тип выборки, способ построения выборки, тип исследования, ошибка выборки и погрешность. И, в связи с этим, возникает действительно какая-то не очень понятная история, потому что случайная выборка может быть построена и в интернете и так далее. Тут множество возникает вопросов именно в связи с вот этой терминологией, потому что панельное исследование и случайная выборка – это мягкое и жёлтое.

Эксперт: Если мы говорим о панелях, это может быть случайная интернет панель, и может быть добровольная интернет панель.

Женщина: Тоже самое и телефонная.

Эксперт: То, что касается телефонных опросов, очень редко проводят именно панельные исследования, чаще всего это разовые опросы.

Мужчина: У меня как раз вопрос про интернет панель, какого размера должна быть интернет панель, чтобы на ней можно было уже проводить случайную выборку, по Вашему мнению?

Эксперт: Сейчас я Вам кое-что покажу. Вы можете увидеть на графике что, чем больше людей Вы интервьюируете, опрашиваете, тем меньше там становится ошибка, и в тот момент, как мы добираемся до значения 1000 человек, тут уже большой разницы нет.

Мужчина: Вопрос был не по размеру выборки, а размер самой интернет панели, из которой мы делаем случайную выборку.

Эксперт: Большая панель 20, 30, 100 тысяч человек.

Мужчина: С какого момента можно…

Эксперт: Всё зависит от целей и задач исследования, скажем так. Если Вы большая компания, которой нужны большое количество данных, то мы обращаемся к такому варианту, если Вы делаете исследование для себя, Вам может быть столько народу и не нужно будет. «Найджин» как раз таки тоже проводил такое панельное исследование, и 1000 человек ему было достаточно.

Мужчина: Я конечно зануда. Я просто вопрос хочу ещё на уточнение задать, потому что уважаемый докладчик употреблял термин «квотная», в нашей традиции социологической слово «квотная выборка», по моему ощущению, называется совсем другое. То есть речь идёт о том, что у нас эта выборка квотная преднамеренная, поскольку там определяется какое количество респондентов с определённым признаком должно попасть в выборку, например: пол, возраст. У меня такое ощущение, что наш уважаемый коллега он употреблял слово «квотный» в каком-то другом смысле. Или я что-то не так понял?

Эксперт: Мы берём любую группу людей, которая выбирается не случайно, и мы выбираем из этих людей, скажем так, соотношение мужчина/женщина для того, чтобы оно отражало генеральную совокупность.

Мужчина: Это понятно, и отношение тогда какое, я вот немножко не пойму, потому что получается, что наш уважаемый коллега эти выборки считает нерепрезентативными. Или я что-то не так понял?

Эксперт: (смеётся). Это плохой вариант.

Мужчина: Всю жизнь ими занимаемся (общий смех). Просто вот такая большая толстая книга Генри Черчилля, по-моему, он их разделяет, и указывает цели, в которых можно использовать то, или то, и указывает недостатки той и другой. И да, действительно, в квотной выборке нет ошибки выборки, но её бессмысленно считать.

Эксперт: Если Вы перейдёте на выборку…

Мужчина: Дело в том, что я использовал и те, и те. И результаты бывали и там хорошие, и там отвратительные (общий смех).

Эксперт: Хотел бы посмотреть на Ваши результаты.

Женщина: Поделиться результатами исследований электоральных. У нас тоже проходили выборы, и немножко получилось по результатам использования квотной выборки, Вас может быть приятно удивит.

Эксперт: Главная проблема в том, что в квотной выборке за ней не стоит никакой научный метод, скажем так, если мы действительно случайным образом отберём в этой комнате какое-то количество людей, просто подбрасывая монетку, и получая либо «орёл», либо «решку», то есть люди, которые получили «решку», они входят в выборку. Таким образом, мы можем сказать, что да, эти люди, которые попали в выборку, они отражают генеральную совокупность.

Если мы говорим о том, что да, давайте отберём 30 женщин, в таком случае скорее всего Вы выбираете только тех, кто находится на первых рядах, то есть те, кто сзади, мы скорее всего до них просто не дойдём. Соответственно, таким образом появляется определённая, скажем так, необъективность выборки.

Женщина: Способ настроения… (общий шум, говорят одновременно).

Мужчина: …которые исключают 01час.07мин.57сек. Вы не пойдёте, не будете первого встречного 01час.08мин.01сек., Вы пойдёте по маршруту, у Вас будут 01час.08мин.05сек., Вы в одну точку придёте 01час.08мин.07сек., не остановитесь 01час.08мин.20сек. у Вас принудительно написано, Вы должны 01час.08мин.22сек.…

Эксперт: Спасибо вам большое за Ваше внимание, за ваши комментарии, и надеюсь, что доклад всё-таки вам поможет в ваших исследованиях, возможно, принесёт какой-то новый взгляд на исследования. Спасибо большое. (аплодисменты).