Научная оценка рисков предполагает расчет вероятных сбоев в работе оборудования и анализ их потенциальных последствий. Она основывается на изучении возможных событий и использует строгие критерии. Если риски, связанные с запуском оборудования, превышают установленные пределы, его эксплуатация недопустима.

Например, в фармацевтической промышленности существует расчет допустимого уровня смертности среди потребителей. Если лекарство или продукт создает риск, превышающий этот уровень, его производство запрещено. Согласно некоторым данным, если изменения в производственном процессе приводят к риску, превышающему 0,01% ожидаемой смертности в год, такие изменения не допускаются. Порог расчетного количества смертей установлен на уровне 10^-4 в год. Этот стандарт применяется глобально.

Существуют «мягкие риски», которые можно предсказать с помощью нормального распределения вероятностей, и «дикие риски», которые непредсказуемы. Недооценка «диких рисков» — распространенная ошибка при проектировании. Но что, если такая недооценка является не ошибкой, а преднамеренным сокрытием потенциальных последствий от общественности?

Более половины из 738 опрошенных ученых, занимающихся исследованиями в области искусственного интеллекта (ИИ), считают, что риск уничтожения человеческой цивилизации из-за ИИ в ближайшие 100 лет превышает 5%. Руководители лабораторий оценивают этот риск в 10%-20%. Таким образом, риск уничтожения человечества искусственным интеллектом в 50 000–200 000 раз превышает допустимые уровни риска, принятые в производстве медицинских изделий или строительстве атомных электростанций. При этом важно помнить, что все отрасли склонны занижать степень негативного воздействия на население.

До 1950-х годов табачные компании и даже врачи утверждали, что сигареты полезны для здоровья. Например, Lucky Strike рекламировали сигареты как средство от кашля и боли в горле, а Viceroy хвастались рекомендациями стоматологов. Врачи, сотрудничавшие с Camel, заявляли, что их сигареты улучшают пищеварение. Руководители табачных компаний в суде клялись, что не знали о вреде сигарет для здоровья, несмотря на десятилетия доказательств обратного. Один из идейных вдохновителей развития ИИ, Илон Маск, в 2023 году называл ИИ «создаваемым богом». Кем же он видит себя в этой роли? Одной из любимых книг Маска является «Торговцы сомнениями», написанная историком науки Наоми Орескес и ученым НАСА Эриком Конуэем. В книге рассказывается о методах манипуляции общественным сознанием.

Маск также упоминал, что сооснователь Google Ларри Пейдж признавался ему в желании создать «цифрового бога» с помощью ИИ как можно скорее. Но что, если таких людей, обладающих амбициями, ресурсами и способностью обходить общественное сопротивление, не двое, а больше? Что, если они объединяются в группы на основе общих интересов и убеждений, помогая друг другу реализовывать свои планы через корпорации?

А что, если суперкомпьютер «Зверь» в Брюсселе, о котором говорят с 1970-х годов, — это не просто символ, а устаревшая модель? Современные разработки в области квантовых и ДНК-компьютеров могут предоставить таким группам ресурсы для создания своего «бога», который с огромной вероятностью уничтожит человечество или его значительную часть. Риски, связанные с этим, колоссальны и требуют серьезного осмысления.