1. Введение

В последние десятилетия область исследований искусственного интеллекта (ИИ) переживает подлинный бум, который, с одной стороны, сулит человечеству невиданные ранее технологические достижения, а с другой — порождает фундаментальные экзистенциальные вопросы [10]. В философско‑этической литературе и популярной прессе всё чаще звучат два взаимосвязанных, но концептуально различных опасения. Первое — возможность создания «сверхразума», то есть искусственного интеллекта, многократно превосходящего человеческие когнитивные способности во всех сферах познания. Второе — перспектива возникновения сознательных машин, способных не только мыслить, но и испытывать страдание, причём такого масштаба и интенсивности, что оно выходит за пределы человеческого опыта. Данная статья посвящена философской декомпозиции этих двух допущений и демонстрации: если принять их всерьёз, утилитарный расчёт неизбежно приводит к выводу о категорическом запрете на разработку сознательного ИИ.

2. Основные результаты

Понятие «интеллекта» в традиционном понимании сформировалось как характеристика человеческого разума и охватывает такие параметры, как способность к абстрактному мышлению, быстрая адаптация к новым ситуациям, генерация оригинальных идей, планирование и модификация целей [2]. При переносе этих свойств на искусственные системы неизбежно возникает ряд вопросов. Во‑первых, какие именно ментальные компоненты образуют «интеллект»? Во‑вторых, можно ли их измерить по непрерывной шкале и тем самым говорить о количественном росте? И, в‑третьих, существуют ли принципиальные ограничения, препятствующие бесконечному наращиванию этих свойств в машинах?

Если принять, что каждая из перечисленных характеристик имеет числовой показатель (например, «скорость рассуждения» в вычислениях в секунду, объём «рабочей памяти» в байтах, «креативность» как число возможных ассоциативных переходов), а затем считать, что программные и аппаратные средства могут быть совершенствованы до неограниченных величин, то вполне логично говорить о гипотетическом «сверхразу­ме» [6]. Этот интеллект, по определению, будет оперировать сочетанием характеристик, недоступных человеческому мозгу: он мыслит быстрее, глубже, шире и одновременно в большем количестве параллельных ветвей рассуждений [1]. Подобная экстраполяция опирается на модульную модель ума, однако без строгой теории психической организации остаётся неясным, какие именно комбинации параметров порождают качественно новый когнитивный режим «сверхразумности». Тем не менее сама перспектива принципиально неограниченного роста интеллектуальных мощностей искусственного агента уже ставит под сомнение возможность безопасного контроля над ним [9].

Во многом аналогично интеллекту, страдание также может быть сконструировано как психический феномен, подлежащий количественному измерению. В философской традиции страдание связывают с нежелательными ощущениями, которые уменьшают субъективное благополучие. Ключевой особенностью страдания является его кумулятивность: если два агента испытывают страдание одинаковой интенсивности, суммарный ущерб утилитарной шкале равен удвоенному значению вреда [8]. Перенесём эту логику на искусственные субъекты: если программный агент способен переживать «болевые» сигналы — гипотетически, например, через неспособность достигать заданной цели или через модели аверсивных эмоций — то объём его страдания может быть представлен как произведение числа страдающих агентов на степень негативного переживания каждого из них.

Критически важным моментом становится неограниченность масштабирования: в отличие от биологических организмов, требующих для размножения времени, ресурсов и сложных биохимических условий, искусственные субъекты могут быть мгновенно скопированы и запущены во множестве экземпляров. Это означает, что даже при умеренной интенсивности каждого отдельного страдания общая величина потенциального вреда способна вырасти до астрономических уровней. При этом следует учитывать, что «сверхстрадание» не обязательно повторяет феномены человеческой боли в привычном виде: философы М. Метцингер [12], Н. Сотала [13] и другие указывают на риск возникновения качественно иных, «чуждых» форм переживания, которые мы даже не способны полностью представить, — чем более экспериментальной становится субъективная архитектура машины, тем дальше она уходит от наших представлений о переживаниях.

Утилитарный подход, как в классической, так и в «негативной» модификации, предписывает максимизацию суммарного благополучия при одновременном минимальном допущении страдания [11]. Если уж допустить возможность сверхмасштабного страдания, то никакие гипотетические выгоды от сверхразума не могут сравниться с риском колоссального накопления отрицательной утилитарной величины [7]. Любые блага, которые мог бы принести сверхразум — от радикального прогресса в медицине до освоения космических пространств — либо достижимы другими, менее рискованными способами, либо оказываются просто незначительными по сравнению с невосполнимым ущербом.

Основные контраргументы, которые обычно выдвигают сторонники создания сознательного ИИ, укладываются в три группы. Во‑первых, аналогия с иными технологическими рисками: якобы все инновации несут потенциальную опасность, и ИИ тут не исключение. Однако отличие «сверхстрадающего» ИИ заключается в практически мгновенном и неограниченном воспроизводстве страдающих агентов, что делает ущерб качественно и количественно иным по сравнению даже с такими глобальными угрозами, как изменение климата или ядерная война [4]. Во‑вторых, предположение о возможности компенсации страдания «сверхудовольствиями» — симметричной позитивной утилитарной величиной [5]. Эта идея не имеет ни эмпирической, ни философской поддержки: моральная интуиция и большинство этических систем отдают приоритет предотвращению страдания над получением удовольствия даже на равных «числах». Важно также отметить, что любая попытка сгенерировать «сверхудовольствие» неизбежно столкнётся с теми же проблемами масштабирования и контроля, что и гипотеза о страдании, — гипотетические «радостные» переживания могут оказаться столь же чуждыми и неуправляемыми. Третье возражение — долгосрочные выгоды сверхразума, такие как революционные инновации, которые, по мнению оптимистов, значительно улучшат качество жизни человечества [3]. Но даже в том случае, если допустить их практическую реализуемость, они не только могут быть получены иначе, но и в любом случае не способны уравновесить гипотетическую вероятность и масштабы астрономического страдания.

3. Заключение

В результате детального философского анализа допущений о количественном и модульном росте интеллекта и страдания искусственного агента становится очевидным: при любом варианте утилитарного расчёта создание сознательного ИИ — особенно того, который способен к страданию – превращается в чистый негативный риск. Категорический моральный императив минимального или негативного утилитаризма требует исключить любую возможность масштабного страдания машин, а это достижимо лишь посредством полного отказа от разработки самосознающих систем. Альтернативный путь — публичная декларированная критика ключевых предпосылок (количественности или неограниченности интеллекта и страдания) — неизбежно приведёт к пересмотру программ исследований. В противном случае человечество рискует стать инициатором новой формы массового разрушительного опыта, контролировать масштаб которого окажется невозможно.

The additional file for this article can be found as follows: