Четверть психологических исследований признали недостоверными

Работа Валена Джонсона посвящена сравнению двух способов оценить достоверность выводов в научном исследовании.

Профессор Техасского университета обратил внимание на то, что обычно ученые используют либо вероятностный, либо байесовский подходы, но стандартного способа сопоставить их между собой до сих пор не было.

В случае с вероятностным подходом ученый, получивший в своих наблюдениях численные данные, задается вопросом о вероятности получить точно такие же данные в случае, когда результат на самом деле случаен (то есть искомой закономерности в данных нет).

Байесовский подход основан на ином вопросе. Исследователи, которые используют его в своих работах, оценивают вероятность получить те данные, которые они получили, в случае, когда их модель верна.

Джонсон предложил специальный статистический тест, который во многих случаях позволяет сравнить обе оценки друг с другом.

Расчеты показали, что в большинстве случаев наиболее распространенная «достаточная» достоверность на уровне p<0,05 (допустимая погрешность в 0,05%) соответствует лишь байесовской оценке на уровне около 5, а это считается достаточно маленьким значением.

По оценкам Джонсона подобные просчеты могут примерно в 17-25% случаев приводить к неверным выводам: ученые сообщат о наличии закономерности там, где ее на самом деле нет.

Исследователь подчеркивает, что плохая статистика может быть одной из главных причин невоспроизводимости научных работ: опережая подлоги и ошибки в ходе самого эксперимента.

Специалист по статистике предложил пересмотреть общепринятую договоренность о том, какие же результаты считать значимыми. По мнению Джонсона, даваемое вероятностным подходом значение 0,05 надо снизить до 0,005: его анализ показывает, что работы с p<0,005 почти наверняка выдержат дополнительные проверки. За рост точности, по словам ученого, придется платить увеличением количества измерений и удорожанием опытов, но приложенные к его статье расчеты говорят об окупаемости подобных расходов.