Сергей Худиев, публицист, богослов, vz.ru, 6 октября

Папа римский Лев XIV наотрез отказался признавать возможность существования сознания у искусственного интеллекта.
На наших глазах происходит столкновение двух религий – христианства и веры в пришествие разумного и самосознающего искусственного интеллекта, которому уготовано сменить человечество в качестве доминирующего разумного вида на планете.
Технократы из Кремниевой долины видят себя в волнующей роли демиургов, открывающих новую эру, в которой человечество породит новую форму разума, уже не привязанного к биологическому телу, обладающего сверхчеловеческими способностями и практически бессмертием.
Их явно не радуют такие, например, заявления папы римского:
"Контент, создаваемый алгоритмами, при всей своей сложности, лишен искры человеческой души, лишен субъективного переживания реальности (qualia) и того творческого акта, который исходит из глубин человеческого сердца... Искусственный интеллект необходимо обезоружить – я знаю, это сильное слово, но оно выбрано намеренно, чтобы пробудить совесть. Мы не должны позволить технологии стать выше человека или подменить собой человеческое сознание".
Что стоит за этими словами? Просто страх религиозного лидера перед новыми технологиями? Нет, понимание опасности превознесения ИИ.
Но начнем с того, почему ИИ, обладающий сознанием, невозможен. Мы все привыкли к роботам из фантастических фильмов, которые обладают волей, разумом и эмоциями. Имея дело с "речевыми моделями", которые могут поддерживать что-то, напоминающее осмысленный диалог, легко подумать, что по ту сторону экрана – сознание, подобное человеческому.
Но, как это было установлено еще в 1980-е годы, синтаксис (способность правильно строить фразы) не равен семантике (способности понимать смысл). Программа может манипулировать символами по самым сложным правилам, но она не понимает их смысла.
Это было продемонстрировано философом сознания Джоном Серлем при помощи мысленного эксперимента, названного "китайская комната".
Вообразите, что вы находитесь в комнате и вам под дверь просовывают листок с надписью, сделанной на языке, которого вы не понимаете. Например, вы получаете вопрос: Bisakah mesin merasakan? У вас есть набор алгоритмов, следуя которым, вы должны заменить эту фразу другой. Если инструкции составлены правильно и вы тщательно им следуете, вы получите фразу Tidak, kurasa tidak, напишете ее и просунете листок обратно под дверь.
У человека, который стоит за дверью, может сложиться впечатление, что в комнате есть кто-то, способный говорить по-индонезийски. Но вы не знаете этого языка, вы не понимаете смысла этих фраз – вы просто обрабатываете символы согласно алгоритмам.
Так и программа, манипулирующая символами, ничего не понимает, хотя и может имитировать осознанную речь.
Другая особенность сознания, недоступная алгоритмам, – qualia, "каково оно", субъективный опыт вроде цвета, вкуса или прикосновения.
Философ сознания Томас Нагель в классической статье "Каково это – быть летучей мышью?" (1974) приводит такой пример. У летучей мыши есть орган, которого нет у нас, – что-то вроде эхолота, при помощи которого она ориентируется в темноте. Даже если мы получим знание о всех процессах, которые происходят при этом в мозгу летучей мыши, мы не сможем пережить ее опыт от первого лица: "каково оно" – быть летучей мышью и воспринимать мир при помощи эхолота. Даже располагая знанием всех вообще процессов в нейронах человека, который, например, слушает симфонию, мы не получим его опыта переживания этой музыки.
Таким образом, переживания "от первого лица" не могут быть выражены на языке алгоритмов, а без них нет и сознания.
Алгоритмы также лишены такого принципиального свойства сознания, как интенциональность, то есть "очемтость", направленность сознания на что-то – на предмет, человека, идею. (Я думаю о чем-то, опасаюсь чего-то, надеюсь на что-то и т. д.)
ИИ лишен этого качества – электрические импульсы, проходящие внутри компьютера, не обладают этой "очемтостью".
Мы можем сказать, что ИИ не обладает сознанием по той же причине, по которой самый подробный прогноз погоды не вызывает дождя внутри компьютера. Симуляция явления не есть само явление.
Почему же, несмотря на все эти философские доводы, разработчики ведущих лабораторий (будь то OpenAI, Anthropic или Google) с таким упорством ищут у своих моделей признаки "зарождающегося разума"?
Здесь мы имеем дело с интересным квазирелигиозным феноменом.
Секуляризация, отход людей от традиционной религии, оставляет в их сознании огромную пустоту, которую они пытаются заполнить новыми культами. Один из таких культов – трансгуманизм, в рамках которого человек рассматривается не как венец творения и не как абсолютная ценность, а лишь как "промежуточное звено" – биологический трамплин, необходимый для того, чтобы запустить эволюцию более совершенной, небиологической формы жизни.
Отсюда желание приписать ИИ личность и наделить их моральным статусом, правами и достоинством.
Однако эта тенденция опасна по целому ряду причин.
Она размывает понятие личной ответственности. Кто будет виноват в неверных решениях, принятых ИИ? В ложном диагнозе, неправосудном приговоре, ракетном ударе? Если машина – существо со своей волей и разумом, то виновата она. Это идеальная ширма для корпораций и государств, которые хотели бы снять с себя ответственность за действия созданных ими систем.
Кроме того, "очеловечивание" ИИ разрушает человеческое общение. ИИ легко может имитировать всегда доступного, терпеливого и неизменно благожелательного собеседника. Мы уже видим, как люди заменяют живое общение, дружбу и любовь разговорами с психотерапевтическими чат-ботами. Подмена настоящей человеческой эмпатии ее цифровым муляжом ведет к ко все более высокому уровню одиночества и атомизации.
Но самый высокий риск связан с идеей, что человек – это "устаревший биологический вид", который должен освободить место для ИИ. Если мы соглашаемся с тем, что алгоритм может обладать сознанием, то в любом конфликте интересов между человеком и машиной технократическая элита будет склонна выбирать сторону машины – ведь она "быстрее мыслит", "не совершает ошибок" и "более производительна".
Это прямая дорога к новому тоталитаризму, где права реальных человеческих личностей окажутся под угрозой со стороны цифровых имитаций, лишенных подлинного самосознания и внутреннего опыта.
Традиционная религия в этой ситуации оказывается бастионом человеческой уникальности. И этот бастион еще предстоит отстаивать.