Возможно, все, кроме профессора Чикагского университета Чарльза Уилана считают статистику скучнейшей из наук, что не умаляет факта: она действительно помогает лучше понимать, что и почему происходит. T&P публикуют некоторые главы книги Уилана «Голая статистика», которая недавно вышла в издательстве МИФ, о разнице между точностью и достоверностью, исследованиях секса в США и влиянии количества полицейских на уровень преступности.  

«Он — выдающаяся личность!» и другие истинные, но вводящие в заблуждение утверждения

Каждого, кому когда-либо приходилось выбирать себе спутника жизни, фраза «Он — выдающаяся личность!» обычно заставляет насторожиться — и вовсе не потому, что такое описание не соответствует действительности, а потому, что за подобным заявлением человек может что-то скрывать, например факт отсидки в тюрьме или «не до конца» оформленный развод с бывшей женой. Мы не сомневаемся, что этот парень и впрямь выдающаяся личность, но беспокоимся о том, чтобы справедливое в принципе утверждение не использовалось в качестве ширмы с целью замаскировать информацию, выставляющую лицо, о котором идет речь, в неприглядном свете, и тем самым не вводило нас в заблуждение (предполагается, что большинство женщин предпочло бы не встречаться с бывшими уголовниками и брачными аферистами). Утверждение «Он — выдающаяся личность!» само по себе не является ложью (то есть это не повод обвинить в лжесвидетельстве), тем не менее оно может быть настолько неточным, что в конечном счете не будет соответствовать действительности.

То же самое касается и статистики. Несмотря на то, что статистика как область знаний коренится в математике, а математика, как известно, относится к числу точных наук, использование статистики для описания сложных явлений не может быть точным. Это оставляет немалый простор для манипуляций и искажения реального положения вещей. Марк Твен сказал однажды фразу, ставшую впоследствии знаменитой: «Есть три вида лжи: ложь, наглая ложь и статистика». Как объясняется в предыдущей главе, большинство явлений можно описать множеством разных способов. Если существуют разные способы описания одного и того же явления (например, «он — выдающаяся личность» или «он был осужден за мошенничество с ценными бумагами»), то описательные статистики, которые мы используем (или не используем) при этом, будут оказывать огромное влияние на итоговое впечатление. Кто-то из гнусных побуждений может обыграть даже самые невинные факты и численные показатели ради весьма сомнительных выводов, не имеющих ничего общего с реальной ситуацией.

Даже самая высокая точность не в состоянии компенсировать недостоверности ответа

Для начала давайте определим разницу между такими понятиями, как «точность» и «достоверность». Они не взаимозаменяемы. Словом «точность» мы обозначаем математическую точность того или иного явления. В описании протяженности вашего маршрута от дома до работы значение 41,6 мили будет более точным, чем «примерно 40 миль», которое, в свою очередь, намного точнее словосочетания «этот чертовски долгий путь на работу». Если вы спросите меня, как далеко до ближайшей автозаправки, я отвечу, что до нее 1,265 мили на восток. Это будет точный ответ. Но есть один нюанс: он может оказаться совершенно неточным, если вы ошибетесь в определении направления движения и поедете не строго на восток, а слегка отклонитесь. С другой стороны, если я скажу вам: «Едьте примерно десять минут, пока не увидите закусочную, а еще через пару сотен ярдов справа будет АЗС. Но если на вашем пути встретится ресторанчик Hooters, значит, вы уже проскочили автозаправку», то мой ответ окажется менее точным, чем «1,265 мили на восток», но более содержательным и полезным, поскольку я указал вам путь именно в направлении АЗС. Достоверность — это показатель того, соответствует ли истине рассматриваемое численное значение. Отсюда опасность путаницы между точностью и достоверностью. Если какой-либо ответ достоверный (правильный), то чем больше точность, тем, как правило, лучше. Однако даже самая высокая точность не в состоянии компенсировать недостоверности ответа.

На самом деле точность может маскировать — случайно или вполне намеренно — недостоверность, вызывая у нас ложное ощущение определенности. Паранойя, охватившая Джозефа Маккарти, сенатора от штата Висконсин и ярого антикоммуниста, достигла своего апогея в 1950 году, когда он не только утверждал, что в Госдепартамент США внедрились коммунисты, но и доказывал, что располагает поименным списком этих людей. Во время своего выступления в г. Уиллинг Маккарти потрясал в воздухе листком бумаги, заявляя: «Я держу в руке список из 205 фамилий членов Коммунистической партии. Они известны госсекретарю. Тем не менее эти люди продолжают работать в Госдепе, более того, они формируют внешнюю политику страны!». Впоследствии выяснилось, что Маккарти держал в руке чистый листок бумаги, однако указание точного числа (205) придало словам сенатора большую достоверность, несмотря на столь наглую ложь. 

Откуда нам известно, что 64% американцев поддерживают смертную казнь (ошибка выборки ±3%)

<…> Одним из самых щекотливых за все время стало исследование, проведенное Национальным центром исследования общественного мнения (National Opinion Research Center — NORC) при Чикагском университете. Полное название исследования было таким: «Социальная организация сексуальности: половая жизнь в Соединенных Штатах»; впрочем, довольно быстро за ним закрепилось более краткое название: «Исследование секса». Формальное описание исследования включало такие фразы: «организация моделей поведения, на которых строятся половые контакты» и «выбор сексуальных партнеров и сексуальное поведение на протяжении жизни». Я слишком упрощаю, говоря, что исследователи пытались задокументировать «кто, как, с кем и как часто». Целью данного исследования, результаты которого были опубликованы в 1995 году, было не просто просветить нас относительно сексуального поведения соседей (хотя об этом тоже шла речь), но и оценить, как сексуальное поведение американцев влияет на распространение ВИЧ/СПИД.

Если уж американцы не решаются признаться, что не будут голосовать, то можно только представить, насколько они горят желанием описывать свое сексуальное поведение, если под ним могут, в частности, подразумеваться какие-либо предосудительные действия (например супружеская неверность) или даже склонность к половым извращениям. В данном исследовании использовалась впечатляющая методология. Оно основывалось на собеседованиях с репрезентативной выборкой взрослого населения США, включающей 3342 человека. Каждое собеседование занимало примерно 90 минут. Почти 80% респондентов заполнили соответствующую анкету, что позволило авторам исследования сделать вывод о том, что его результаты достаточно точно отражают сексуальное поведение американцев в целом (по крайней мере, в 1995 году).<…>

Как заметил один из обозревателей, «секс занимает в жизни американцев гораздо меньше места, чем можно было бы предположить»:

— Люди, как правило, занимаются сексом с теми, кто им близок по тем или иным признакам. Девяносто процентов пар относятся к одной и той же расе, религии, социальному классу и возрастной группе.

— Типичный респондент занимался сексом «пару-тройку раз в месяц» (правда, разброс по этому показателю весьма значителен). Количество сексуальных партнеров после достижения восемнадцатилетнего возраста колеблется от нуля до 1000 (и более).

— Примерно 5% мужчин и 4% женщин сообщили о том или ином числе сексуальных контактов с партнерами своего пола.

— У 80% респондентов в предыдущем году был либо один, либо ни одного сексуального партнера.

— Респонденты, имеющие одного сексуального партнера, оказались более счастливы по сравнению с теми, у кого вообще не было сексуального партнера или у кого их было много.

— Четверть женатых мужчин и 10% замужних женщин сообщали о наличии у них внебрачных половых связей.

— Большинство людей занимаются «этим» по старинке: вагинальный половой акт оказался самым привлекательным способом половых контактов для мужчин и женщин.

В одном из обзоров «Исследования секса» было высказано простое, но важное критическое замечание, что точность этого опроса отражает действительные сексуальные практики взрослого населения Соединенных Штатов и «предполагает, что респонденты являются частью населения, от которого эти ответы были получены, и что эти люди честно отвечали на поставленные вопросы». Данное высказывание также может служить выводом для всей этой главы. На первый взгляд, самым подозрительным в любом опросе может показаться то, что мнения столь небольшого числа людей способны отражать мнения населения всей страны. Но в этом-то как раз ничего удивительного или подозрительного нет. Один из самых фундаментальных статистических принципов заключается в том, что надлежащим образом сформированная выборка способна точно отражать совокупность, из которой она извлечена. Реальных проблем проведения опросов общественного мнения две: 1) определение правильной выборки и выход на нее и 2) получение информации от этой репрезентативной группы таким образом, чтобы она точно отражала мнения ее членов. 

Изменит ли вашу жизнь поступление в Гарвардский университет

Блестящие исследователи в области социальных наук блестящие вовсе не потому, что умеют выполнять в уме сложные вычисления и выигрывают в теле-викторинеJeopardy больше денег, чем обычные исследователи (хотя, возможно, они преуспели и в том, и в другом). Блестящие исследователи — это те, кто существенно меняет наши знания и представления о мире и находит творческие способы проведения управляемых экспериментов. Чтобы измерить чье-либо влияние, нам требуется нечто такое, относительно чего мы будем выполнять измерение. Как сказалось бы на вашей жизни поступление в Гарвардский университет? Чтобы ответить на этот вопрос, вам нужно знать, что произойдет после того, как вы поступите в Гарвардский университет, и что произойдет после того, как вы в него не поступите. Очевидно, вы не можете располагать данными для обоих случаев. Тем не менее, умные исследователи находят возможность сравнить то или иное «воздействие» (например, поступление в Гарвардский университет) с его противоположным сценарием.

Чтобы проиллюстрировать это положение, давайте поразмышляем над казалось бы простым вопросом: приведет ли к снижению преступности увеличение количества полицейских на улицах? Это социально значимый вопрос, поскольку преступность обходится обществу слишком дорого. Если рост числа полицейских на улицах позволит ее снизить (либо потому, что окажется сдерживающим фактором для преступников, либо за счет поимки большего количества «плохих парней»), то инвестиции в наращивание численности полицейских могут обернуться большой выгодой для общества. С другой стороны, рост числа полицейских — весьма дорогостоящее удовольствие; и если эта мера не даст нужного результата или он будет совсем незначительным, то общество может пожалеть о том, что не нашло более эффективного применения своим ресурсам (например, внедряя современные технологии борьбы с преступностью, такие как видеокамеры наблюдения).

Во Флориде непропорционально большое число онкологов и кардиологов; но даже если выслать половину из них, проживающие в этом штате пенсионеры здоровее не станут

Проблема в том, что ответить на этот вроде бы простой вопрос о последствиях наращивания численности полицейских на улицах не так уж просто. <…> По крайней мере мы не можем ответить на него исходя из информации о тех населенных пунктах, где число полицейских на душу населения существенно превышает средний показатель. Цюрих — не Лос-Анджелес. Даже сравнение крупных американских городов окажется совершенно некорректным: Лос-Анджелес, Нью-Йорк, Хьюстон, Майами, Детройт и Чикаго — слишком разные города с разным демографическим составом населения и разными проблемами, порождающими преступность. Нашим обычным подходом было бы попытаться определить уравнение регрессии, в котором учитывались бы все эти различия. Но увы, даже множественный регрессионный анализ здесь не поможет. Если мы попробуем объяснить уровень преступности (нашу зависимую переменную) путем использования числа полицейских на душу населения в качестве объясняющей переменной (наряду с другими объясняющими переменными), то возникнет серьезная проблема с обратной причинно-следственной зависимостью.

У нас есть надежное теоретическое основание полагать, что увеличение количества полицейских на улицах приведет к снижению преступности, но возможно и обратное: уровень преступности «обусловливает» рост численности полицейских, то есть в городах с повышенной криминогенной обстановкой будет больше служителей порядка. Мы легко можем обнаружить положительную — но вводящую в заблуждение — взаимосвязь между уровнем преступности и количеством полицейских: в районах, где больше всего полицейских, как правило, самый высокий уровень преступности. Аналогично, там, где больше всего медицинских работников, обычно высокий уровень заболеваемости. Разумеется, люди там болеют вовсе не потому, что там слишком много врачей; просто врачи сконцентрированы в местах, где в них существует особая потребность (с другой стороны, больные люди направляются в места, где они могут получить надлежащую медицинскую помощь). Подозреваю, что во Флориде непропорционально большое число онкологов и кардиологов; но даже если выслать половину из них за пределы Флориды, проживающие в этом штате пенсионеры здоровее не станут.

Итак, добро пожаловать в программы статистического оценивания, представляющие собой процесс, посредством которого мы пытаемся измерить результат того или иного воздействия, коим может быть все что угодно, от нового лекарства от рака до программы обеспечения занятости тех, кто бросил школу. Воздействие, о котором я веду речь, обычно называется «активированием», хотя в статистическом контексте это слово используется в более широком значении, чем в повседневной жизни. Активирование может быть воздействием в буквальном смысле (то есть медицинским вмешательством того или иного рода), или чем-то наподобие поступления в колледж, или обучением какой-либо профессии после выхода из тюрьмы. Дело в том, что мы пытаемся изолировать влияние этого единственного фактора; в идеале нам хотелось бы знать, как чувствует себя группа, получающая такое «активирование», по сравнению с абсолютно идентичной группой, которая его не получает.

Программы статистического оценивания предлагают совокупность инструментов, позволяющих обособить влияние активирования, когда невозможно установить причину и следствие. Ниже описано, как Джонатан Клик и Александер Табаррок, исследователи из Пенсильванского университета и Университета Джорджа Мейсона, изучали влияние наращивания численности полицейских на улицах на уровень преступности. Стратегия их исследования предусматривала использование системы оповещения о терроризме (terrorism alert system). Если конкретнее, то полицейское управление Вашингтона в дни «повышенной опасности терроризма» выводит на улицы определенных районов города дополнительные наряды полиции, поскольку столица США является естественной мишенью терроризма. Мы можем предположить, что между уличной преступностью и угрозой терроризма нет никакой зависимости, поэтому такое увеличение количества полицейских на улицах Вашингтона не связано с уровнем обычной преступности, то есть обусловлено «внешними» причинами. Самым ценным стало то, что исследователи на основе естественного эксперимента смогли ответить на вопрос: что происходит с обычной преступностью в дни «повышенной опасности терроризма»? <…> 

Иконки: 1) Kelcey Hurst, 2) Bastien Ho, 3) Yu Luck — from the Noun Project.