Как-то @Achisov с канала @bayesyatinaa про рациональное мышление напомнил про кризис воспроизводимос
Как-то @Achisov с канала @bayesyatinaa про рациональное мышление напомнил про кризис воспроизводимости в психологии.
Вот две опорные работы. Если очень коротко, что произошло: — Часть экспериментов психологов, на которых строится вся наука, нельзя повторить с тем же результатом. В других науках обычно можно, и это и делает науку наукой. — Почему? Потому что психологи оказались самыми предвзятыми по каким-то причинам. Где-то просто подгоняли результаты под красивую теорию, где-то не понимали, как поставить методологию, где-то влияли на тестируемых (осознанно или неосознанно). — В итоге вся психология под вопросом. — Оказывается, не только у психологов. — Ой!
Вот пример сбитой методологии с ошибкой по китайскому культурному коду.
Проверка 100 значимых исследований. 97 из них показывали статистически значимые результаты. Но при независимых повторах это подтвердилось только в 36% случаев.
Вот проблема с зефирным тестом про самоконтроль — эффект люто слабее, чем считалось
Из 53 знаковых исследований в онкологии воспроизвелись 6
Вот тут разбирают причины. Кроме кривых методологий и не очень правильного вкрячивания рационального мышления там есть более приземлённые вещи.
Например: — Выборочное сообщение — исследователи публикуют только положительные результаты, скрывая отрицательные или неубедительные находки. По опросам больше 30% исследователей признали участие в такой фигне из тщеславия. — Принцип сисек (если оно сразу большое и красивое, возможно, силикон) — журналы значительно чаще публикуют работы с интересными результатами, чем исследования, которые не выявили эффектов. Это создаёт систематическое искажение, при котором ложные находки остаются в научной литературе, а отрицательные результаты, которые могли бы их опровергнуть, остаются неопубликованными. — Правило бабок. Продвижение по карьере, получение грантов и репутация зависят в первую очередь от количества публикаций.
Собственно, что мы делаем:
- Смотрим значимые работы (хотя даже в самых авторитетных изданиях случаются лютейшие холивары, например, как про подсластители недавно)
- Если видим подозрительное в работе — говорим об этом (например, конфликт интересов или странную выборку)
- Отмечаем, когда исследование на студентах )
Почему последнее важно — потому что это частая история в психологии. Там многое проверяется на бегающих мимо студентах. Иногда это норм, а иногда нет. Например, если это какая-то универсальная характеристика организма человека типа скорости восприятия изображения, то выборка сдвигается к более молодой и характерной для региона, но в целом идея понятная. Не “мы видим мерцание на 500 герц”, а “студенты видят мерцание от 200 до 1000 герц, в среднем 500, а вопрос был про то, что это больше 90 герц для всех людей, как считали раньше”. Такое в целом ОК. А если это исследование социального взаимодействия, то начинается сплошное встревалово. Например, “Люди не доверяют рекламе, где им говорят, что делать” — это не все люди, это конкретно вот эти ваши 8 человек, которые очень любят профессора. Возможно, каждый день.
Если работы холиварные уровня “виагра спасает от Альцгеймера” с ответной работой “Нет, это вы статистику неправильно обрабатываете” — мы такое можем запостить. Если они холиварные уровня “Мы провели исследования на 5 тысячах человек и получили вот такие данные, но не факт, что это следствие, а не коррелят” — да.
Мы рассказываем, что именно сделали чуваки и какие выводы из этого они же сделали. Часто это даёт хорошие идеи и просто подсвечивает какие-то неочевидные вещи. Но ещё раз напоминаем, что если учёные что-то сказали, это не значит окончательную истину. Чаще всего это в психологии и рядом, где матмодели строить сложно.
Поэтому тут есть дискуссии и вот этот пост про прорывы в науке, например.
Мы за вас не думаем, мы угораем. Думать придётся вам, увы. В этом тоже цель канала.
А вам хороших выходных )
— Вступайте в ряды Фурье! Каждую секунду в мире открывается 4000 консервных банок. Каждую секунду в мире зачинается десять детей. Каждый раз, когда вы открываете банку, у вас есть шанс 1 к 400 забеременеть.