§ 5. Опасности и ошибки при использовании статистических методов

§ 5. Опасности и ошибки при использовании статистических методов

Несмотря на свою большую ценность, статистические данные могут быть неправильно использованы и неверно проинтерпретированы, если не учтены допущения, требующиеся для их использования. Поэтому мы должны предостеречь читателя от приведенных ниже элементарных, но часто встречающихся ошибок.

1. Статистические данные предлагают в суммарном виде информацию о признаках некоторой группы значений. Они не предлагают никакой информации ни об одном конкретном элементе группы. Из знания о том, что рождаемость мужчин примерно равна половине от общего показателя рождаемости, мы не можем ничего вывести относительно пола ребенка, который родится следующим.

2. Средние статистические показатели не могут без дополнительного изучения интерпретироваться как представляющие строго неизменные отношения внутри конкретной группы. Бокль в своей работе «История цивилизации в Англии» из статистических данных об убийствах, самоубийствах, браках и письмах, находящихся в Бюро невостребованных писем выводил заключение о том, что «убийства совершаются с такой же регулярностью и связаны таким же единообразным отношением с некоторыми известными обстоятельствами, как приливы и отливы и смена времен года… Убийство является всего лишь следствием общего состояния общества, и… каждый отдельный преступник является лишь исполнителем того, что на самом деле является необходимым следствием предшествующих обстоятельств. В данном состоянии общества определенное число людей должны совершить самоубийство. Это является общим законом, а вопрос о том, кто именно совершит преступление, является специальным и поэтому зависит от специальных законов, которые, однако, в своей совокупности должны подчиняться большому социальному закону, которому все они подчинены. Могущество большого закона столь неотразимо, что ни любовь к жизни, ни страх иного мира не способны никак повлиять на его осуществление… Даже число браков, заключаемых ежегодно, определяется не чувствами или желаниями индивидов, а большими общими фактами, неподчиненными отдельным индивидам… Теперь мы можем даже доказать то, что провалы в памяти также являются следствиями этого общего признака необходимого и неизбежного порядка» [94] . Заключения Бокля не подтверждаются основаниями, которые он приводит. Число ежегодных самоубийств может оставаться неизменным на протяжении лет, однако из этого не следует, что определенное число самоубийств должно происходить каждый год, поскольку, во-первых, нам не известны точные факторы (если таковые вообще существуют), обусловливающие самоубийство, а во-вторых, мы не знаем, проявятся ли данные факторы и в последующие годы.

3. Коэффициенты корреляции можно подвергнуть сходной критике. К примеру, коэффициент Пирсона определяется настолько общим образом, что на предмет степени корреляции можно рассмотреть любые две группы, даже если нам известно из других источников, что данные группы на самом деле независимы друг от друга. Таким образом, в использованной нами записи х может обозначать отклонения в возрасте мужчин, перечисленных в биографическом словаре, а у может обозначать число страниц в книгах из каталога Библиотеки Конгресса так, чтобы первое имя из словаря сопоставлялось с первой книгой каталога, и т. д. Коэффициент при этом может иметь большое численное значение. Однако это обстоятельство не будет означать наличия какой-либо значимой связи между двумя группами. Нет сомнения в том, что при достаточном терпении можно высчитать очень много корреляций. Было показано, что расходы на Британские ВМС существенным образом коррелировали с ростом в потреблении бананов, а распространение рака в Англии – с увеличением импорта яблок. Однако известно или, по крайней мере, предполагается, что большинство подобных корреляций являются случайными и не имеющими никакой причинно-следственной значимости.

Высокие коэффициенты корреляции не представляют достаточных оснований для установления неизменных связей, поскольку зачастую оказывается нелегко проинтерпретировать некоторый коэффициент, поскольку его значение может согласовываться более чем с одной интерпретирующей гипотезой. Предположим, мы установили, что в течение нескольких лет имеет место увеличение числа арестов. Можем ли мы на основании этого заключить, что увеличилось число преступлений? Разве не может данный результат быть следствием ужесточения мер по обеспечению законности? Отклонения в численности людей, классифицируемых как бедняки (в силу того, что они получают общественную помощь), могут быть соотнесены либо с изменениями в правилах выдачи общественной помощи, либо с изменениями в возрастном распределении бедняков, либо с изменениями в заработной плате, ценах или трудовой занятости. Какая из этих возможных корреляций главная? Можно ли достоверно утверждать наличие причинно-следственной связи между климатом и характером цивилизации на том лишь основании, что цивилизации определенного вида располагаются в регионах с определенным климатом? Разве не может природа цивилизации также быть сопоставлена с относительной свободой для доступа иностранных торговцев на рынки данного региона?

4. Совсем несложно совершить ошибку, заключающуюся в вере в существование значимой связи между двумя типами событий на основании наблюдения, согласно которому два события часто ассоциируются друг с другом. Так, предположим, мы обнаружили, что 90 из 100 рыжеволосых людей свойственно переменчивое настроение. Можем ли мы из этого вывести утверждение о том, что рыжие волосы и переменчивое настроение связаны каким-либо особым образом? Разумеется, нет, до тех пор пока мы не получим информацию об относительном числе людей, не имеющих рыжих волос, но обладающих при этом переменчивым настроением. Ведь может случиться так, что 90 из 100 людей с другим цветом волос также будут обладать переменчивым настроением. Следовательно, если мы захотим открыть связь между признаком А и признаком В, то нам нужно будет обнаружить не только пропорцию тех А, которые являются В, но также и суждение об индивидах А (не обладающих свойством А), которые также являются В. Из знания о том, что из тысячи глухонемых 29,6 являются слабоумными, мы не можем обоснованно вывести заключение о том, что слабоумие и свойство быть глухонемым являются взаимозависимыми признаками, если у нас при этом нет знания о том, что отношение слабоумных к общему числу населения меньше, чем 29,6, т. е., скажем, 1,5 на тысячу. Было замечено, что полнолуние и ясная погода зачастую сопутствуют друг другу; однако если мы заметим, что отсутствие полнолуния и хорошая погода ассоциируются друг с другом столь же часто, то мы не сможем проинтерпретировать любую из этих двух пар событий как значащую что-либо конкретное.

5. Существенные корреляции иногда получаются просто в силу смешения двух наборов данных, относительно которых не было установлено никакой корреляции. Если, к примеру, в какой-либо из двух общин отсутствует корреляция в возрастах мужей и жен, то строго доказать то, что при смешении списков в получившейся совокупности можно будет отыскать некоторую корреляцию, можно будет только в том случае, если среднее арифметическое возрастов мужей и жен не является одним и тем же в обеих общинах. Данная корреляция является следствием чисто математических свойств двух групп и не может рассматриваться в качестве основания для существования неизменной связи.

Здесь возникают сложности, происходящие из проведения выборки. Все корреляции могут высчитываться только для групп с конечным числом значений. Однако мы почти всегда стремимся использовать значение коэффициента для обозначения уровня корреляции между группами, которые являются более объемлющими, чем те, которые изначально были рассмотрены. Однако очевидно, что из коэффициента в 0,856 для корреляции между возрастами мужей и жен в одной общине вовсе не следует того, что данная корреляция сохраняется в более многочисленной общине или же в общине с иными социальными обычаями. Как и все статистические показатели, коэффициент подвержен воздействию флуктуаций значений выборки. В некоторых случаях относительно высокая корреляция может в целом оказаться случайной. Так, если пара костей бросается 100 раз и коэффициент корреляции высчитывается относительно числа выпавших значений, то г может обладать значением, которое будет существенно больше 0, хотя если кости являются независимыми друг от друга, то г должен строго равняться нулю. Только из одного г нельзя установить, указывает ли такое отличное от 0 значение г на наличие какой-либо зависимости.

6. Много ошибок совершается при построении умозаключений на основе значений выборки, поскольку сознательно или нет, но эти значения могли бы быть отобраны так, чтобы не являться значимыми репрезентантами всей совокупности. Этот источник ошибки особенно часто встречается в тех случаях, где были взяты лишь несколько значений или где наше знание предмета и его релевантных факторов является недостаточным.

При сравнении различных групп всегда существует опасность получения нерепрезентативной выборки. Ответственный за набор рекрутов в армию убедит большинство людей в правоте следующего аргумента: уровень смертности в американских ВМС во время Испано-американской войны равнялся 9 из 1000, тогда как уровень смертности за то же самое время в Нью-Йорке равнялся 16 из 100; следовательно, безопаснее быть служащим ВМС во время войны, чем мирным жителем Нью-Йорка. Однако внимательное рассмотрение оснований для данного заключения демонстрирует, что в двух указанных уровнях смертности нет той кажущейся большой значимости. Уровень смертности в Нью-Йорке включает в себя смертность младенцев, стариков, людей, находящихся в больницах и приютах; при этом известно, что среди стариков, младенцев и больных уровень смертности сравнительно велик. ВМС, с другой стороны, укомплектованы мужчинами в возрасте от 18 до 35 лет, каждый из которых был освидетельствован на медицинском осмотре как здоровый. Из этого следует, что упомянутые два уровня смертности не приводят к заключению о том, что ВМС безопаснее Нью-Йорка. Для адекватного обоснования подобного заключения потребовалось бы сравнение двух групп, которые были бы однородными по возрасту, полу и состоянию здоровья.

Можно привести множество других примеров, содержащих данную ошибку. В одном из университетов было обнаружено, что студенты одного цвета кожи получали более высокие оценки, чем студенты другого цвета кожи. Можем ли мы из этого заключить, что одна раса более способна к обучению, чем другие расы? Подобное умозаключение было бы крайне необоснованным, особенно если при этом предполагается существование барьеров между расами. Различия в оценках могут с легкостью объясняться повышенными требованиями при поступлении, выдвигаемыми к представителям одной расы. Следовательно, студенты такой расы будут представлять более избранную группу и поэтому будут получать более высокие оценки. Сходным образом открытие того, что женатые мужчины в Италии требуют меньше медицинского внимания, чем неженатые, не доказывает того, что брак содержит какую-либо гигиеническую ценность. Указанное различие может происходить из нежелания хронически больных мужчин жениться, и в таком случае лучшее здоровье женатых мужчин будет объясняться именно способом отбора исследуемого материала.

7. Распространенной ошибкой при сравнении групп является использование конкретных чисел вместо процентов. В одной известной книге по теории социализма автор пытался показать, что предсказания Маркса относительно прогрессивной элиминации малых коммерческих предприятий и распространения больших предприятий не соответствовали фактам. Для сравнения числа коммерческих предприятий в Германии за два отрезка времени автор использовал данные, приведенные в нижеследующей таблице, без высчитывания процентного отношения.

Автор пришел к заключению о том, что, вопреки утверждениям Маркса, число малых предприятий увеличивалось. Однако если мы высчитаем процентную долю каждого предприятия, то данная таблица покажет нам нечто совершенно иное. Числа в правой части каждой из колонок означают долю в процентах каждого типа предприятий в общем числе всех предприятий; эти числа не приводятся автором книги. Очевидно, что данная таблица не доказывает мысли автора, поскольку если в 1882 году малые мастерские составляли 61 % общего числа предприятий, то в 1895-м они составляли уже 47,6 %. Более того, несмотря на то что число малых предприятий увеличилось на 6 %, число средних предприятий увеличилось на 83 %, больших – на 90, а очень больших – на 107 %.

8. Очевидные сложности возникают и в тех случаях, когда мы осуществляем сравнение на основе единиц или классификаций, которые не обладают одним и тем же значением для каждой из сравниваемых групп. Бесполезно сравнивать число осуждений за кражу в разных странах, если нам не известно, что основа классификации действия как кражи и принципы работы судов являются одинаковыми в сравниваемых странах. Только из того, что в XX веке демократических стран стало больше, чем в XIX, с необходимостью вовсе не следует то, что в XX веке люди обрели больше свободы, поскольку несмотря на то, как именно классифицируются те или иные правительства, по своей сути они все равно могут мало чем отличаться от своих предшественников.

При сравнении доходов, полученных на протяжении нескольких лет, следует учитывать изменения в реальной стоимости денежной единицы. Из того обстоятельства, что в 1853 году 0,263 % населения Германии платили налоги на прибыль свыше 3 000 марок, а в 1902 году таким налогом облагались уже 1,301 % населения, нельзя заключить, что экономическое состояние немцев за указанный период улучшилось. Вполне возможно, что в 1902 году человек мог купить на 3000 марок примерно столько же, сколько он мог бы купить в 1853 году на 2000 марок, поскольку за это время произошли важные изменения прожиточного минимума.

Сходное затруднение происходит при сравнении уровня благосостояния внутри некоторой страны на основании увеличения числа приобретаемых акций. Так, за два отдельно взятых периода в Соединенных Штатах количество акционеров нескольких железных дорог соответствовало данным нижеследующей таблицы:

Что доказывают приведенные данные относительно общего числа людей, владеющих акциями? Если мы не можем быть уверены в том, что один человек не может быть одновременно акционером нескольких компаний, то мы не можем заключить и того, что большее число людей являлось акционерами в 1908 году по сравнению с 1904-м. Однако мы знаем, что многие финансисты хранят деньги в ценных бумагах более чем сотни различных корпораций. Более того, даже если бы имело место реальное увеличение числа акционеров, то концентрация акций, а вместе с ней концентрация богатства и власти могли бы быть большими во второй период, чем в первый.

9. Коварным источником ошибок является неспособность отличить изменения в предметной области от изменений в методах сбора статистических данных. Учащаются ли заболевания раком или же мы всего лишь точнее стали их отслеживать? Увеличивается ли уровень смертности от сердечно-сосудистых заболеваний, или, быть может, фиксируемые изменения являются лишь следствиями того, что сообщения о смертях от этих заболеваний неверны, и эти смерти вызываются некоторой другой болезнью, например, острым кишечным расстройством, которому следует придать отдельную классификацию? Уровень смертности среди младенцев определяется следующим образом: (число умерших младенцев до года) / (число новорожденных) х 1000. Однако, в силу того что чем меньше знаменатель, тем больше дробь, можно уменьшить уровень смертности среди младенцев, не спасая при этом ни одного ребенка, посредством улучшения подсчета новорожденных [95] . Можно ли из того обстоятельства, что, согласно результатам переписи 1900 года, в Соединенных Штатах увеличился процент малых коммерческих предприятий по сравнению с 1890 годом, вывести заключение о том, что относительное число малых предприятий увеличивается? Разумеется, нет! Даже в самой переписи 1900 года читатель предостерегается от подобного заключения, поскольку в 1900 году перечисление предприятий было более подробным, чем в 1890-м.

10. Использование различных единиц при сравнении нередко приводит к различным описаниям имеющей место социальной ситуации. Зачастую нелегко узнать, как именно следует измерять те или иные признаки. Имеет ли место растущая концентрация промышленности, прогрессивное исчезновение малых предприятий и появление нескольких больших корпораций? Однако как именно нам следует измерять подобную концентрацию: в терминах численности наемных работников или же в терминах количества продукции, производимой предприятием? По мере развития сложного производственного оборудования последний показатель может становиться более корректным. Так, например, было показано, что в то время как между 1904-м и 1909 годами в Соединенных Штатах имело место увеличение числа предприятий, ежегодно производящих товары на $20 ООО или меньше, то в 1904 году на долю таких предприятий приходилось лишь 6,3 % общей стоимости всех производимых товаров, а в 1909 году – только 5,5 %.

11. Мы уже отмечали, что точность, которая привносится в статистику использованием математических методов, является кажущейся. Точность измерительного прибора не увеличится, если мы увеличим точность среднего арифметического нескольких измерений до мельчайших дробей. Тем не менее, статистические методы могут показать, что исходное расположение значений по таблице является неточным, указав на их несовместимость друг с другом. Если, к примеру, мы изучаем 1000 индивидов и обнаруживаем, что 550 из них являются мужчинами и 500 – женщинами, то мы наверняка знаем, что была допущена ошибка. Однако иногда несовместимость данных не столь очевидна, и требуются более сложные методы для проверки совместимости данных. Так, рассмотрим следующую таблицу для группы из 1000 студентов:

Хотя, на первый взгляд, в этих цифрах нет ничего неверного, можно показать, что они являются несовместимыми. Дело в том, что эти данные имплицируют, что число незамужних студенток, не являющихся первокурсницами, должно равняться 57, что абсурдно. Однако обсуждение вопроса о проверке на совместимость является слишком техническим для первоначального знакомства.

Данный текст является ознакомительным фрагментом.