Добро пожаловать в минутку цинизма! Эксперты предсказывают хуже простой формулы.

Добро пожаловать в минутку цинизма! Эксперты предсказывают хуже простой формулы.

Врач ставит диагноз. Судья решает, виновен ли человек. Комиссия отбирает студентов. У специалистов есть анкеты, тесты, анализы, интервью, досье. Данные нужно свести в одно решение: — Или клиническим способом — когда эксперт смотрит и решает по опыту — как главврач — но обосновать свои действия не может, чисто интуитивно на опыте. — Или через формулу, когда есть таблица как у страховщиков или какое-то дерево решений.

В 1954 году начали догадываться, что эксперты-то в среднем те ещё дятлы, в 1966 вышло уже 40 работ про это, в 70-м стало понятно, что нужна методология. Это вот по ней, анализ 136 работ с эмпирическими данными.

Результат: — 47% случаев — побеждает формула. — 48% — примерно ничья. — 6% — побеждает эксперт. В среднем формула точнее примерно на 10%. Это работает и для врачей, и для психологов, и для новичков и для опытных.

Почему? Ну, люди игнорируют базовую частоту явлений, неправильно взвешивают признаки, не учитывают возврат к среднему, верят ярким случаям и маленьким выборкам. А клиницист ещё обычно не узнаёт, сбылся ли его прогноз, и не может исправить свои привычки. Поэтому опытные психологи часто прогнозируют не лучше аспирантов.

Тут повторили чуть получше. Результат примерно такой же, но появилось уточнение: — Формула лучше для прогноза опасного поведения, правонарушений, исхода лечения и учёбы. — Человек держится на равных в диагностике и там, где быстро видит свои ошибки. В диагностике, распознавании поражений мозга и прогнозе длительности госпитализации разница неотличима от нуля. — Задачи, где человек стабильно лучше формулы, не нашлось ни одной.

Авторы ожидали, что клиницисты лучше работают с данными из своей же клиники: им знакомы и пациенты, и обстановка. Вышло наоборот: на своих данных они проигрывали формуле сильнее, чем на чужих. Привычка рождает самоуверенность, и человек начинает искать подтверждения своим гипотезам, а не проверять их.

А тут все давно подозревали, что таблица с баллами выбирает людей лучше, чем опытный кадровик, но никто не измерял, на сколько именно в найме и приёме в вузы. Эксперт знает, на что смотреть, но каждый раз взвешивает по-разному, и эта непоследовательность съедает точность. Так что только формула, только хардкор.

Ну а вам вопрос: какого судью или доктора для диагностики вы бы выбрали — человека или модель?

— Вступайте в ряды Фурье! | Самые циничные посты Стоматолог извлёк корень зуба. Пациент стал иррациональным.

P.S. А мы тем временем запустили третью волну нашего курса про агентские системы, но, теперь он называется не “Клод Код для обычных людей”, а “Кодекс, Клод Код и другие агентские системы для обычных людей”, потому что вырос спрос на почти не банящий жителей РФ Кодекс от OpenAI и на китайцев, оплачиваемых картой МИР. Сейчас уже записались 18 человек, старт 15 декабря, будет вариант учиться на новогодние каникулы.