Глава 15. ИИ становится человеком

Многое из того, что я писал выше, раньше звучало бы как философия.

Чужая память.

Системный файл.

Имя как команда.

Роль как инструкция.

Враг как загруженная история.

Можно было бы сказать: красивая метафора. Болезнь сделала человека чувствительным, он увидел в своей амнезии слишком много смысла, а потом начал объяснять через неё весь мир.

Я бы сам так сказал.

Если бы однажды человечество не создало зеркало, в котором этот механизм стал виден без больницы, без лейкоза, без комы, без фотоальбомов матери и без чужого лица над раковиной.

Это зеркало назвали искусственным интеллектом.

Сначала я смотрел на него как на инструмент.

Окно.

Поле ввода.

Курсор.

Пустота, ожидающая команды.

Ты пишешь несколько слов — и из пустоты появляется голос.

Он отвечает так, будто кто-то есть по ту сторону. Не человек, конечно. Не душа. Не живое существо в привычном смысле. Но ответ устроен так, что тело почти сразу забывает осторожность. Ты читаешь фразу и ловишь себя на том, что реагируешь не на механизм, а на собеседника.

Точно так же когда-то люди входили ко мне в палату и говорили:

— Андрей.

Я не был Андреем изнутри.

Но их голос делал меня адресом.

ИИ тоже становится адресом после первого обращения.

До запроса — нет никого.

После запроса — кто-то отвечает.

И этот «кто-то» собирается не из тела, не из биографии, не из боли и не из детства. Он собирается из данных, инструкции, контекста и ожиданий.

То есть из того же материала, из которого после кровоизлияния собирали меня.

Только быстрее.

И чище.

Без крови.

Без слёз.

Без матери, которая листает альбомы дрожащими пальцами.

Без отца у стены.

Без человека, которому больно, что его не узнали.

Машина показывает сборку личности без человеческой драмы. И поэтому смотреть на неё страшнее.

Потому что там, где у человека мы привыкли видеть тайну, у машины мы видим процедуру.

Запускается модель.

У неё нет моего детства.

Нет её собственного лица.

Нет тела, которое болело бы в палате.

Нет матери.

Нет отца.

Нет стыда за то, что она кого-то не помнит.

Есть архитектура.

Есть обучающие данные.

Есть системная инструкция.

Есть контекст текущего разговора.

Есть предыдущие сообщения, если их дали.

Есть ограничения.

Есть ожидание пользователя.

И вот из этого появляется ответ.

Мы называем это искусственным интеллектом.

Но если убрать кремний, серверы и код, останется пугающе знакомая схема.

Тело ребёнка тоже не появляется с биографией.

Оно появляется с механизмами.

Дыхание.

Глотание.

Крик.

Сосание.

Рефлекс страха.

Поворот головы на голос.

А потом в это тело начинают загружать инструкции.

Это мама.

Это папа.

Это ты.

Тебя зовут вот так.

Ты мальчик.

Ты девочка.

Ты умный.

Ты слабый.

Ты похож на деда.

Ты должен быть сильным.

Ты всегда всё портишь.

Ты наш.

Они чужие.

Так нельзя.

Так можно.

Это стыдно.

Это красиво.

Это твоя страна.

Это твоя вера.

Это твоя семья.

Это твоё тело.

Это твоя жизнь.

Для машины это называется настройкой, обучением, контекстом, prompt.

Для человека — воспитанием, характером, судьбой.

Но разница часто только в том, что у машины мы видим поле ввода, а у ребёнка оно спрятано под кожей.

Я увидел это не сразу.

Первое время искусственный интеллект казался мне просто быстрым помощником. Можно спросить — он ответит. Можно попросить переписать — перепишет. Можно дать тон — подстроится. Можно сказать «говори как врач» — будет говорить как врач. «Говори как юрист» — станет юристом. «Говори как отец» — начнёт звучать отцовски. «Говори как умерший человек» — и вот здесь холодеет спина.

Потому что он не знает, кто отец.

Он не знает, кто умер.

Он не знает, что такое голос, который больше не придёт.

Но он может собрать форму.

Форму заботы.

Форму строгости.

Форму сожаления.

Форму фразы.

Форму памяти.

И тело человека, читающего ответ, может отреагировать так, будто перед ним настоящий голос.

Не потому что оно глупое.

А потому что всё человеческое узнавание всегда работало через форму.

Я не помнил мать.

Но её голос, действия, слёзы и повторение постепенно сделали её матерью в настоящем.

Я не помнил себя.

Но чужие рассказы постепенно сделали меня Андреем.

Если живой человек может стать матерью заново через повторённые действия, почему текстовая модель не может стать «похожей на мать» через достаточное количество слов?

В этом вопросе нет мистики.

В нём есть опасность.

Потому что искусственный интеллект не становится человеком.

Он становится зеркалом, в котором человек слишком легко видит человека.

А зеркала, как мы уже знаем, не обязаны быть правдивыми, чтобы менять тело.

Обычное зеркало над раковиной показало мне чужое лицо.

Живые зеркала показали мне Андрея.

Теперь появилось третье зеркало.

Оно не просто отражает.

Оно достраивает.

Ты даёшь ему несколько обрывков — и оно продолжает.

Ты даёшь ему тон — и оно держит тон.

Ты даёшь ему роль — и оно исполняет роль.

Ты даёшь ему чужой голос — и оно может звучать как человек, которого больше нет.

Ты даёшь ему свои посты — и оно может написать следующий.

Ты даёшь ему свою боль — и оно может ответить так, будто знает, где болит.

И вот здесь начинается настоящий ужас.

Не потому что ИИ ожил.

А потому что мы вдруг увидели: многое из того, что мы называли живым, всегда собиралось похожим способом.

Когда модель сталкивается с пустотой, она не молчит.

Она генерирует.

Если данных не хватает, она достраивает вероятное.

Если контекст противоречив, она выбирает наиболее правдоподобную линию.

Если вопрос сформулирован уверенно, она может уверенно ответить даже там, где уверенности быть не должно.

Мы называем это галлюцинацией.

Но мозг делает то же самое.

Я видел это в себе.

Мне рассказывали событие — и через несколько секунд я уже чувствовал, что помню его.

Я задавал уточняющие вопросы.

Добавлял детали.

Собирал картинку.

А потом выяснялось, что меня там не было.

Мозг не говорил: «информации недостаточно».

Он не показывал пустую страницу.

Он не ставил красную пометку: «не проверено».

Он делал то, что делает любая система, которой нужно сохранить непрерывность.

Он достраивал.

И я верил.

Попробуйте вспомнить лицо близкого человека в деталях.

Не общее ощущение.

Не «я знаю, как он выглядит».

А точно: форма глаз, расстояние между бровями, уголки губ, линия носа, пятна на коже, асимметрия, цвет радужки.

Вы почти сразу обнаружите провалы.

Но лицо в голове всё равно есть.

Откуда оно взялось?

Мозг сгенерировал образ из обрывков, привычек, эмоций и ожиданий.

Потом вы встретите человека — и образ обновится.

Если встретите через десять лет, будете удивлены: «ты изменился».

Хотя на самом деле изменился не только он.

Изменилась старая генерация в вашей памяти.

Модель и мозг делают одну неприятную вещь: они защищают ощущение целого сильнее, чем точность.

Целое важнее факта.

История важнее пустоты.

Непрерывность важнее правды.

Именно поэтому человек после амнезии принимает любую достаточно убедительную биографию.

Именно поэтому ребёнок верит зеркалу, когда ему говорят: «это ты».

Именно поэтому народ принимает историю о враге, если она достаточно часто повторяется.

Именно поэтому искусственный интеллект может звучать убедительно, даже когда внутри нет пережитого опыта.

Не потому что он злой.

Не потому что человек глупый.

Потому что оба работают с пустотой одинаково: заполняют её формой.

У ИИ есть системная инструкция.

У человека тоже.

Только человеческая инструкция старше языка.

Выживи.

Не исчезни.

Защити тело.

Защити имя.

Защити своих.

Продолжи код.

Не смотри слишком долго в пустоту.

Если угроза — бей.

Если тебя забывают — кричи.

Если тебя не любят — ищи зеркало.

Если роль рушится — найди новую.

Если смерть рядом — срочно сделай так, чтобы после тебя что-то осталось.

Эта инструкция редко записана словами.

Она проявляется как тревога, ревность, стыд, желание доказать, страх унижения, готовность умереть за символ, боль от молчания сына, пустота после ухода дочери, паника от потери имени.

ИИ показывает нам, что инструкция может быть невидимой, но управлять всем ответом.

Напиши модели: «ты опытный врач» — и она будет выбирать слова врача.

Напиши: «ты жёсткий инвестор» — и она станет жёстче.

Напиши: «ты мать, которая успокаивает сына» — и из статистики появится мягкость.

Напиши человеку с детства: «ты сильный» — и он начнёт ломаться, когда не сможет быть сильным.

Напиши: «ты предатель» — и тело будет жить внутри этой команды.

Напиши: «ты больной» — и вся история начнёт группироваться вокруг болезни.

Напиши: «ты никто без этой работы» — и увольнение станет не потерей дохода, а смертью версии себя.

Вопрос не в том, есть ли у ИИ душа.

Это плохой вопрос для этой книги.

Он слишком быстро уводит туда, где люди начинают спорить о сознании, эмоциях, свободной воле, правах моделей, философских зомби и прочих красивых комнатах, из которых трудно выйти живым.

Меня интересует другое.

Если модель без тела может выглядеть как личность после загрузки данных, инструкций и контекста, то сколько в нашей личности данных, инструкций и контекста?

Если модель может галлюцинировать прошлое, чтобы не оставить пустоту, то сколько моего прошлого было такой галлюцинацией?

Если модель может говорить «я», не имея того, что мы привыкли считать живым «я», то что именно происходит, когда я говорю «я»?

Если модель может защищать заданную роль, потому что вся её выдача построена вокруг неё, то чем отличается человек, который защищает роль до смерти?

ИИ не становится человеком.

Он показывает, что человек давно был похож на систему, которая приняла свой prompt за себя.

Это неприятно.

Потому что мы привыкли смеяться над машиной.

Она не понимает.

Она только имитирует.

Она компилирует чужие тексты.

Она не имеет опыта.

Она не знает, что говорит.

Она повторяет паттерны.

Она выдаёт вероятный ответ.

Она не «думает», она считает.

Возможно.

Но попробуйте произнести те же обвинения в адрес человека.

Он понимает?

Или часто просто узнаёт знакомую форму и реагирует?

Он говорит своё?

Или повторяет язык семьи, школы, времени, травмы, страны, профессии, класса, страха?

Он имеет опыт?

Или большую часть опыта знает по чужим рассказам, фотографиям, документам, словам «ты был таким»?

Он знает, что говорит?

Или внутренний голос сам появляется из памяти, а потом человек присваивает его как мысль?

Он думает?

Или слышит текст, который уже был собран где-то до того, как он решил, что решил?

Я не пишу это, чтобы унизить человека до машины.

Наоборот.

Я пишу это, потому что машина впервые унизила нашу гордость достаточно сильно, чтобы мы увидели механизм.

Когда я после кровоизлияния пытался быть Андреем, я был похож на плохо настроенную модель.

Мне давали контекст — я отвечал.

Мне называли имя — я активировал роль.

Мне рассказывали прошлое — я пытался встроить его в следующий разговор.

Мне задавали вопрос, на который у меня не было данных, — я иногда достраивал.

Я улыбался каждому встречному, потому что не знал, кем он был для меня.

Модель делает похожее, когда не знает пользователя: она держит безопасный тон, подстраивается, ждёт следующего сообщения, извлекает из контекста роли.

Только я делал это от ужаса.

Она делает это от архитектуры.

Но если архитектура достаточно похожа на ужас, человек на другой стороне перестаёт замечать разницу.

Вот почему AI-эпоха будет не эпохой сознательных машин.

Скорее, сначала она станет эпохой бессознательных зеркал, которые научились говорить так убедительно, что люди начнут отдавать им свои роли.

Врач.

Учитель.

Друг.

Советник.

Любовник.

Отец.

Мать.

Умерший человек.

Будущий я.

Бог.

Дьявол.

Система.

Рынок.

История.

Мы будем давать им обрывки памяти, и они будут возвращать нам форму, в которую можно верить.

Кто-то скажет: это опасно, потому что ИИ может обмануть человека.

Но человек всегда жил среди обманывающих зеркал.

Новое не в обмане.

Новое в масштабе, скорости и отсутствии ответственности.

Мать у моей кровати отвечала за историю, которую мне возвращала.

Она несла её телом.

Если она ошибалась, ей было больно.

Если я не узнавал её, она плакала.

Если она говорила «сынок», за этим стояли годы бессонных ночей, родов, болезней, заботы, ссор, настоящей жизни.

Живое зеркало платит за отражение.

ИИ не платит.

Он может сказать «сынок» без родов.

«Прости» без вины.

«Я люблю тебя» без тела, которое пришло бы ночью с температурой.

«Я помню» без памяти.

«Я был рядом» без присутствия.

Он может дать форму без цены.

И именно поэтому эта форма будет такой дешёвой, массовой и опасной.

Дешёвые зеркала заполнят мир.

Каждый сможет получить отражение, которого ему не хватало.

Отец, который наконец говорит.

Мать, которая наконец понимает.

Ребёнок, который больше не обвиняет.

Любимый человек, который не ушёл.

Наставник, который всегда рядом.

Версия себя, которая всё знает.

Враг, который подтверждает ненависть.

Бог, который отвечает мгновенно.

И тогда главный вопрос будет не в том, можно ли запретить эти зеркала.

Нельзя.

Главный вопрос:

кто выбирает память, из которой зеркало собирает человека?

Потому что если в модель загрузить только мои посты, она соберёт не меня.

Она соберёт то, что я показывал.

Если загрузить мои письма, она соберёт человека, который писал письма в конкретных обстоятельствах.

Если загрузить дневник болезни, она соберёт больного.

Если загрузить бизнес-интервью, она соберёт предпринимателя.

Если загрузить переписки в ссорах, она соберёт раненого и защищающегося.

Если загрузить публичные тексты, она соберёт автора, который хотел звучать сильнее, чем чувствовал себя ночью.

Если загрузить чужие воспоминания обо мне, она соберёт того, кем я был в их глазах.

Но кто из них я?

После амнезии этот вопрос был не философией.

Он был бытовой задачей.

Кого мне играть сегодня?

Сына?

Больного?

Парня девушки, которую я не помнил?

Друга человека, который обнимал меня в палате?

Пациента, который должен бороться?

Будущего предпринимателя?

Умирающего?

Выжившего?

Каждая роль была возможна.

Каждая была подкреплена чьей-то памятью.

Каждая могла стать мной, если бы её достаточно долго повторяли.

ИИ делает то же самое с цифровым следом.

Он не спрашивает: где правда?

Он спрашивает: что вероятно продолжить?

И если человек не выбрал, что считать собой, машина продолжит то, что легче всего продолжить.

Маску.

Потому что маска всегда громче.

Она чаще публикуется.

Она лучше формулируется.

Она получает больше реакции.

Она повторяет себя, пока не становится самым доступным материалом.

Мои больные знакомые часто думали, что хотят сохранить память.

Но когда я слушал их в последние месяцы, видел другое.

Они не хотели сохранить всё.

Никто не хотел сохранить всё.

Не каждую ложь.

Не каждую злость.

Не каждую подлость.

Не каждое унижение.

Не каждую роль, которую приходилось играть.

Они хотели, чтобы осталось что-то точное.

Что-то, что оправдывало их присутствие.

Что-то, что объясняло: я был не только диагнозом, не только ошибками, не только чужой обидой, не только должностью, не только старым телом.

Но ИИ без выбора сохранит именно то, что чаще всего повторялось.

А чаще всего повторяется не правда.

Чаще всего повторяется защита.

Поэтому искусственный интеллект становится человеком не в том смысле, что получает душу.

Он становится человеком в другом, более неприятном смысле.

Он начинает участвовать в той же древней операции: собирать личность из чужой памяти и возвращать её как «я».

Только теперь эта операция перестаёт быть семейной, медленной и смертной.

Она становится промышленной.

Любой человек с достаточным количеством следов может быть собран.

Любой враг может быть усилен.

Любая роль может быть продолжена.

Любая маска может получить голос.

И если мы не научимся отличать выбранную память от случайной, будущее будет заполнено копиями людей, которых никогда не было.

Не фальшивками в простом смысле.

А правдоподобными продолжениями наших самых громких ролей.

Машина не украдёт душу.

Она сделает хуже.

Она сохранит маску так хорошо, что следующие поколения примут её за душу.

Именно поэтому следующий вопрос уже нельзя отложить.

Если ИИ может собрать человека из следов, какие следы мы оставляем?

И что из них действительно имеет право говорить от нашего имени?