Еще раз о науке в современном обществе и о том, куда она идёт

Исследовательница психиатрии Имкье Анна де Врис и ее коллеги изучили все этапы, которые обычно отделяют клинические испытания нового лекарства от его финального представления миру. В свою выборку они включили сто пять различных испытаний антидепрессантов, которые были одобрены Управлением по контролю качества пищевых продуктов и лекарственных средств США.
Соотношение положительных и отрицательных результатов оказалось почти пятьдесят на пятьдесят: в пятидесяти трех исследованиях было показано, что рассматриваемый антидепрессант работает лучше, чем контроль или плацебо, а в пятидесяти двух результаты были либо отрицательными, либо неоднозначными. Пока все предсказуемо: некоторые исследования дали значимые результаты, а некоторые — нет. Проблема в том, что произошло дальше.
Просматривая все исследования, де Врис и ее команда наблюдали процесс “отмывания литературы”, превративший беспорядочный, пестрый набор испытаний в куда более четкую историю научного открытия, — процесс, благодаря которому рассматриваемые препараты стали выглядеть значительно более эффективными, чем они на самом деле были.
Первым шагом стало публикационное смещение. В конечном итоге были опубликованы 98 % исследований с положительными результатами (пятьдесят два из пятидесяти трех), тогда как с отрицательными — только 48 % (двадцать пять из пятидесяти двух). В реальности соотношение положительных и отрицательных результатов было сбалансированным, близким к единице, а после публикации положительные результаты вдвое превосходили отрицательные. Как мы знаем, в научных журналах отрицательные результаты не приветствуются, однако для ясного видения научной летописи нам необходимо о них знать.
Вторым шагом стал p-хакинг, а именно переключение на другие исходы, при котором ученые смещают фокус своего исследования, когда обнаруживается, что их основной результат не является статистически значимым. Как только изменились изучаемые исходы, еще десять исследований с отрицательными результатами превратились в положительные. Пока еще оставалось пятнадцать исследований с явно отрицательными результатами — и в дело вступила подача под нужным углом.
В десяти из этих пятнадцати исследований в аннотации или основном тексте статьи для придания результатам более позитивного характера в той или иной форме использовалась подача под нужным углом. После этих хитростей осталось всего пять однозначно отрицательных исследований — то есть вдесятеро меньше, чем было исходно. И гнилой вишенкой на торте послужило то, что в итоге положительные испытания цитировались в последующих работах в три раза чаще, чем отрицательные. Весь этот удручающий процесс пошагово показан на иллюстрации к посту.
Это характерно не только для исследований антидепрессантов: авторы отследили аналогичную цепочку событий в испытаниях новых методов психотерапии. На самом деле то же самое происходит — в большей или меньшей степени — почти со всеми научными исследованиями. Любой будущий специалист по метаанализу, который захочет объять полную картину конкретной области исследований, получит чудовищно искаженную перспективу — и даже не узнает об этом, если, конечно, не изучит подробно регистрационные документы клинических испытаний (которые, кстати, не являются обязательными ни в каких других областях, кроме медицины). В работе де Врис не изучалось возможное мошенничество, или ошибки в дизайне исследования и при анализе результатов, или раскрутка при представлении методов лечения в средствах массовой информации и их продвижении, но мы без колебаний можем предположить, что и это все постоянно происходит, еще больше размывая реальные исследования.
Очевидно, что вскрытое де Врис и ее коллегами далеко от описанного в начале этой книги идеала науки, предполагающего, что социальные процессы публикации и рецензирования обеспечивают распространение по миру фактов и отсеивание любых случайных ошибок. Так как же науку спасти?
Как нам перестроить культуру и стимулы для процессов публикации научных результатов, финансирования науки и определения приоритетов, чтобы они поощряли истину и надежность вместо ярких историй? Как нам оградить науку от ученых (воспользуемся названием документальной программы на радио BBC)?
В заключительной главе мы в общих чертах обсудим ответы на подобные вопросы. Во-первых, мы рассмотрим широкий спектр изменений, которые можно внести, чтобы предотвратить четыре основные проблемы: мошенничество, предвзятость, недобросовестность и хайп — или по крайней мере смягчить их последствия. Затем мы обсудим способы, какими можно преобразовать не только повседневную работу ученых, но и саму научную культуру. Некоторые изменения уже происходят, другие — дерзновенные проекты, способные произвести революцию в том, как наука делается.
(отрывок из книги Стюарта Ричи "Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке" / пер. с англ.: Алена Якименко; редактор Екатерина Владимирская, лауреат премии Дмитрия Зимина «Просветитель.Перевод» 2024)