Для безопасности планеты и человечества надо ускорять прогресс, а не пытаться его тормозить! (но это

Для безопасности планеты и человечества надо ускорять прогресс, а не пытаться его тормозить! (но это неточно)

У нас тут есть очень оптимистичный свежайший препринт. Если что, обычно мыслят так: у нас дофига технологий вымирания всех человеков. Вот ядерное оружие, искусственный интеллект, биотехнологии, климатические изменения, всякие наноигрушки. По этой модели мы постоянно мутим какую-то технологию, и иногда выпадает опасная.

Тут провели матмоделирование ситуации. Сразу отметим, очень уютно натягивая сову на глобус, но точка зрения как минимум забавная.

Есть риск состояния — на каждом уровне технического развития он свой. Сейчас нельзя сдержать ядерную войну и развитие биопатогенов. Если сейчас остановить прогресс, то эти две угрозы никуда не денутся. Мы просто застрянем в состоянии, где у нас есть бомба, но нет защиты. Если вероятность ядерной войны, скажем, 0,1% в год, то за тысячу лет стагнации катастрофа станет практически неизбежной.

Единственный способ снизить этот риск — как можно быстрее проскочить этот опасный период и изобрести технологии защиты.

Даже естественные риски (астероиды, супервулканы), хоть и малы (1 шанс на 870 000 в год), на бесконечном отрезке времени гарантированно нас убьют, если мы не разовьем технологии для их предотвращения. Технологии — единственный шанс свести риск к нулю.

Теперь переходный риск — идея о том, что опасность исходит не от самих технологий, а от процесса их открытия (например, разные рискованные эксперименты). Типа, как при запуске большого коллайдера думали, что можно положить всю планету.

Если риск фиксирован, например, каждое открытие имеет 1% шанс нас убить, то скорость не важна. Быстро мы нажимаем на спуск в русской рулетке или медленно — суммарный риск одинаков. Результат моделирования: даже если быстрый рост добавляет опасности, наличие риска состояния перевешивает. В большинстве реалистичных сценариев оптимальная скорость развития — высокая, но конечная.

Безопасность — это предмет роскоши. Когда общество бедное, оно тратит ресурсы на еду и базовое выживание. Когда общество богатеет, ценность жизни возрастает. Люди и государства готовы тратить огромные суммы на медицину, экологию и предотвращение катастроф. Рост создает ресурсы. Более развитая цивилизация не только имеет более опасные технологии, но и может позволить себе тратить на безопасность. Рациональный планировщик в модели по мере обогащения общества будет перенаправлять всё больше ресурсов с потребления на безопасность. Быстрый рост позволяет нам быстрее стать достаточно богатыми, чтобы купить себе безопасность.

Если риск состояния 0,1% в год (оценка из доклада Николаса Стерна, часто цитируемая в экономике климата) — вероятность существовать вечно для цивилизации 69%.

Авторы — Филип Траммелл из Оксфорда и Стэнфорда, специализируется на экономической теории долгосрочного будущего и Леопольд Ашенбреннер — исследователь (работал в команде Superalignment в OpenAI), известен своими работами по прогнозированию развития ИИ. Ни одна из них не рецензировалась, как и эта, все они просто выкладывали. Кроме этой дыры размером с лошадь явное слабое место работы — почему-то авторы решили, что человечество будет вести себя умно. А это выглядит опасным идиотизмом несколько оптимистично. В частности, там есть допущение, что мы должны быть готовы пожертвовать практически любым ростом потребления сегодня, лишь бы хоть немного повысить шансы на то, что цивилизация не исчезнет завтра.

— Вступайте в ряды Фурье! | Самые опасные посты Ваш спутник прослужит гораздо дольше, если его не запускать.