Метаанализ и генераторы случайных чисел

Метаанализ и генераторы случайных чисел

Самые отдаленные галактики невидимы для невооруженного глаза. Однако их можно обнаружить при помощи согласованных групп мощных телескопов, способных делать тысячи снимков в неделю. Суммирование громадного числа фотографий позволяет астрономам собрать достаточно фотонов — пакетов световой энергии — для регистрации самых слабых звездных объектов. Точно так же некоторые субатомные силы настолько малы, что гигантским ускорителями приходится проводить миллионы испытаний, чтобы зафиксировать их действие. Возможно, пси — звезда или сила настолько слабая, что надежные свидетельства ее существования можно добыть, лишь проверив громадное число людей. Добиться этого можно при помощи метаанализа. Метаанализ — относительно новый статистический метод, при котором результаты множества экспериментов можно рассматривать как один масштабный эксперимент. При совместном рассмотрении слабые эффекты, распределенные по множеству проектов, можно выделить и усилить. По пси-явлениям было проведено по крайней мере четырнадцать метаанализов, еще четыре было посвящено телекинезу (Bosch, Steinkamp & Boiler, 2006).

Первые серьезные эксперименты по телекинезу провел в 1930-х гг. Дж. Райн. Он попытался определить, могут ли испытуемые силой мысли влиять на результат бросания игральных костей. (Интересно, что первым эту идею предложил в 1627 г. Фрэнсис Бэкон, один из основателей научного метода; Radin, Nelson, Dobyns 8t Houtkooper, 2006). Радин и Феррари (Radin 8t Ferrari, 1991) провели метаанализ этих и более чем сотни других экспериментов, включавших суммарно 4600 человек (и 3,6 млн бросков). Первые результаты казались перспективными, но окончательное однозначное заключение сделать не удалось из-за нескольких неопределенностей. Игральная кость падает не совсем случайно; самый вероятный бросок — «б», тогда как «1», напротив, наименее вероятный результат. Поскольку точки на поверхности граней, как правило, высверливаются, сторона с максимальным количеством отверстий («б») будет самой легкой, а с минимальным («1») — самой тяжелой и с наибольшей вероятностью ляжет на стол. Кроме того, в некоторых экспериментах исследователи применяли произвольную точку останова, т. е. прекращали бросать кости ровно тогда, когда получали желаемый результат. Какая уж тут случайность! Если вы бросите кость 56 раз, вы можете получить, к примеру, такую последовательность:

41632546661152663145362354621356413521435223156421243514

Обратите внимание: эта случайная последовательность не гладкая, иногда в ней попадается несколько одинаковых результатов подряд (глава б). В самом деле, на десятом броске вы получаете не меньше чем четвертую шестерку.

41632546661152663145362354621356413521435223156421243514

Если вы произвольно остановитесь на десятом броске, получится, что 40 % бросков — шестерки; очевидно, это необычайное событие. Однако на самом деле надо смотреть на общую картину, а не останавливаться тогда, когда захочется.

В середине XX в. исследователи отказались от бросания костей в пользу компьютеризованных процедур генерации случайных чисел. К примеру, Белофф и Эванс (Beloff 8t Evans, 1961) использовали в качестве источника случайности скорость распада радиоактивного элемента. Участники пси-исследования пытались замедлить распад. Другие исследователи пользовались различными компьютерными генераторами случайных чисел (ГСЧ); их еще иногда называют генераторами случайных событий (ГСС). Выход такого генератора переводится в набор щелчков или чисел (нулей и единиц). Использование ГСЧ предполагает регистрацию проявлений микротелекинеза, мысленного влияния на события на атомном или субатомном уровне. Преимущества методики в том, что она позволяет проводить очень большое количество испытаний и ограничивает возможность человеческого вмешательства — обмана или ошибки. Однако исследователи по-прежнему могут выбирать произвольную точку останова.

Самый, возможно, всесторонний метаанализ исследований по ГСЧ провели Бёш и др. (Bosch et al., 2006). Они собрали результаты 380 экспериментов и обнаружили очень слабый, но значимый эффект. Однако они пришли к выводу, что эффект этот, скорее всего, возник в результате работы в стол. Попросту говоря, если исследователи не склонны публиковать негативные результаты (а просто складывают в стол), а журналы тоже не склонны их печатать, то в соответствующей литературе появляется обманчиво высокий процент успешных работ. Если учесть данные всех исследований, то неопубликованные негативные результаты многократно перевесят опубликованные положительные (см. главу 3 о предвзятости при публикации). Вероятно, это проблема всех опубликованных метаанализов пси-феномена. В самом деле, как заметил один очень уважаемый эксперт в области статистики, метаанализ «возводит предубеждение при публикации в ранг искусства до такой степени, что некоторые достойные доверия специалисты по методике исследований… полностью отметают подобного рода свидетельства» (Bausell, 2007, р. 198).

Иногда исследователи возражают, что пресловутый «стол» с негативными результатами должен быть невероятно велик, чтобы перечеркнуть позитивные результаты метаанализа. К примеру, при анализе экспериментов с бросанием костей Радин и Феррари (Radin & Ferrari, 1991) вычислили: для того чтобы перевесить позитивные эффекты опубликованных исследований по телекинезу, использованных для метаанализа, «в столе» должны были бы лежать отчеты о 18000 экспериментов, давших негативные результаты. Другие исследователи при более тщательном анализе пришли к выводу, что для этого достаточно было бы всего шестидесяти неопубликованных работ (Bosch et ah, 2006). Аналогично, Радин (Radin, 1997) представил самый сильный, возможно, аргумент в пользу пси (Good, 1997) — значимый пси-эффект, полученный при метаанализе проведенных за полвека 186 экспериментов по экстрасенсорному восприятию. Более того, Радин утверждает, что для ликвидации этого эффекта «в столе» должно лежать 3300 неопубликованных работ. Гуд (Good, 1997), профессиональный статистик, отмечает, что Радин никак не обосновывает свое заявление о размерах «стола» и что на самом деле потребовалось бы всего 8-15 неопубликованных негативных исследований. Гуд заключает, что собственные данные Радина в значительной мере подрывают результаты его метаанализа в пользу ЭСВ. Надо заметить, что разногласия по поводу необходимых размеров «стола» с неопубликованными негативными результатами очень типичны для пси-исследований.

Метаанализ — очень противоречивый и сложный в использовании инструмент. Статистически возможна ситуация, когда при метаанализе 50 экспериментов, ни один из которых не дал значимых результатов, будет получен значимый общий результат — вообще говоря, иллюзорный (Alcock, 1981). Большинство ученых, занятых метаанализом, вынуждены либо исключать из рассмотрения плохо проработанные, по их мнению, эксперименты, либо придавать им меньший статистический вес. Однако те, кто пытается проводить метаанализ пси-исследований, редко соглашаются между собой в том, как следует оценивать исходные эксперименты. В итоге метаанализ одного и того же набора публикаций у двух разных исследователей почти всегда дает разные (часто противоположные) результаты.

Наконец, методика экспериментов с ГСЧ позволяет проводить сотни тысяч испытаний. Мало у кого хватит выдержки реально бросать кости столько раз. С одной стороны, такая особенность представляется полезной. С другой, статистики обычно предупреждают об том, что статистический анализ слишком больших выборок может дать иллюзорно положительный результат. При громадном числе испытаний даже мелкие источники ошибок (легкая неслучайность данных ГСЧ, температура, нагромождение случайностей) могут дать видимый эффект. Неоднократно было продемонстрировано, что при использовании очень большой случайной выборки может быть получен чрезвычайно слабый и чисто иллюзорный, но статистически значимый эффект (см. Alcock, 1981).

В заключение скажем, что влияние посредством телекинеза на работу генератора случайных чисел вызывало и вызывает жаркие споры и новые исследования. Ирвин и Уатт (Irwin & Watt, 2007) предлагают самый, наверное, разумный на данный момент вывод: пока слишком рано делать уверенный вывод об аутентичности телекинеза на основании метаанализа.

Данный текст является ознакомительным фрагментом.