Внезапный «Брекзит»: Что не так с опросами общественного мнения

Британские сторонники Евросоюза ищут причины своего поражения и одной из них называют самоуверенность. Недостаточная активность кампании за сохранение членства в ЕС среди прочего объясняется общей уверенностью в том, что «Брекзит» невозможен. Аналитики банков Societé Generale, Barclays и Credit Suisse, члены Лондонской Ассоциации политических исследований, 150 «суперпредсказателей» консалтинговой фирмы Good Judgment Inc., учёные, букмекеры, журналисты, брокеры — большинство их прогнозов обещали евроскептикам поражение.

Тяжелее всего переживают неудачу социологи, построившие репутацию и бизнес на научных методах исследования общественного мнения. Может подвести интуиция, но почему дали сбой математические выкладки? Bird In Flight собрал мнения специалистов.

«Британский референдум дал ещё один пример неверно спрогнозированных результатов голосований, но в этот раз ошибка исследователей не была катастрофической», — пишет Нейт Кон в The New York Times.

В июне было проведено 35 опросов о членстве страны в ЕС, и только 15 отдавали победу желающим остаться. В то же время медиа показывали преимущество еврооптимистов, и вот почему:

• Опросы перед референдумом о независимости Шотландии дали неверный прогноз. В США у социологов тоже не получается предсказывать результаты референдумов так же точно, как итоги выборов. Эти факты использовали, чтобы обесценить результаты опросов.

• Предполагалось, что неопределившиеся и колеблющиеся в день референдума решат сохранить нынешнее положение. Так случилось во время референдума за независимость Шотландии, но в США неопределившиеся избиратели обычно голосуют за изменения. Нет оснований полагать, что какой-то из этих примеров можно применять ко всем случаям.

• Во время большинства исследований у британцев спрашивали «Кто выиграет?», а не «За кого голосуете?». Считается, что такая постановка вопроса увеличивает точность прогноза. Не в этот раз.

• В букмекерских конторах больше ставили на то, что Великобритания решит остаться в ЕС. Лишний раз подтвердилось мнение, что информация о ставках не даёт возможности надёжно прогнозировать исход голосования.

• Поздние опросы, особенно проведённые после убийства депутата от лейбористской партии Джо Кокс 16 июня, показывали, что большинство проголосует за членство в Евросоюзе. Усреднённые данные 11 исследований отдавали еврооптимистам победу с преимуществом в 0,5 %.

Если из этого и можно вынести какой-то урок, то достаточно банальный: не будьте слишком уверены в итоге соревнований, если соперники идут ноздря в ноздрю.

Кризис доверия к опросам общественного мнения в последнее время был подкреплён несколькими крупными ошибками. Признанные методы исследований общественного мнения оказались не способны предсказать победу британских консерваторов над лейбористами в 2015 году и доминирование Трампа среди кандидатов в президенты США от Республиканской партии. Вот и сейчас опрос за опросом показывал, что Британия хочет остаться в ЕС.

Похоже, проблема в смене технологий и способов коммуникации. Рандомизированный обзвон граждан, когда-то считавшийся золотым стандартом среди техник опросов, становится всё менее надёжным из-за падения отклика, массового перехода на мобильную связь и запретов на автоматические системы дозвона. Такие опросы предсказывали победу сторонников ЕС с преимуществом в 2,6 %, тогда как онлайн-опросы постоянно свидетельствовали, что сторонников выхода из Евросоюза будет больше на 1,2%.

Рандомизированный обзвон граждан, когда-то считавшийся золотым стандартом среди техник опросов, становится всё менее надёжным.

Майкл Корен на Quartz рассказывает об исследовательской платформе Pollfish, которая охватывает 250 миллионов пользователей 10 000 мобильных приложений и показывает высокую точность. Данные Pollfish свидетельствовали о том, что неопределившиеся британцы по своим настроениям очень похожи на сторонников выхода из ЕС, тогда как большинство социологов считали, что те пожелают сохранить статус-кво.

Технология работает наподобие рекламной сети, только вместо баннеров показывает опросы внутри установленных пользователем приложений. За ответы он получает бонусы или возможность выиграть подарочную карту. За каждого опрошенного Pollfish берёт с заказчика $1. Респонденты анонимны, но собранные на их смартфонах данные позволяют надёжно установить пол и возраст, место жительства, интересы, наиболее посещаемые сайты и многое другое. Кликая на варианты ответов в смартфоне, люди более откровенны, чем на устном интервью: это важно.

С 2005 года прогнозы компании YouGov о результатах выборов в США и Великобритании не раз доказывали преимущество её онлайн-методики над традиционными механиками опросов. Победная серия была прервана референдумом о выходе из Евросоюза — проведённое в день голосования исследование YouGov ошибочно предсказало победу еврооптимистов с преимуществом в 4 %. В опубликованной на сайте компании статье сбой объясняется высокой явкой на севере страны.

Явка всегда важна для результатов кампании, ни одна из сторон в которой не имеет решающего преимущества. YouGov прогнозировала нынешнюю явку с учётом исторических данных. Неожиданно большое число людей, пришедших к урнам на севере страны, где живут преимущественно сторонники «Брекзита», нарушило весь прогноз.

Тем не менее в YouGov утверждают, что онлайн-выборка оказалась наиболее близка к конечному результату. Единственные два члена ассоциации исследовательских компаний British Polling Council, чьи опросы накануне референдума показывали победу евроскептиков, изучали мнение интернет-пользователей. Выход из ЕС предсказывали также три из шести последних опросов YouGov.

Неожиданно большое число людей, пришедших к урнам на севере страны, где живут преимущественно сторонники «Брекзита», нарушило весь прогноз.

«Финансовый рынок, букмекеры и СМИ совершили исторического масштаба ошибку при оценке рисков — вопреки постоянным доказательствам того, что разрыв очень мал и „Брекзит“ реально возможен», — пишет YouGov, и это очень похоже на попытку переложить вину.