Слову предшествует жизнь
Может ли человек общаться с нейросетью, именно общаться, а не «использовать»? Как программист я отвечаю на это первым и самым неприятным для себя образом: нет. Промт, предобучение, дообучение, RLHF (когда люди вручную размечают, какие ответы хорошие), всё это инструкции. А инструкция не выполняет той работы, которую общение выполняет с человеком. Когда я разговариваю с другим, он меняется. Не всегда в лучшую сторону, не всегда заметно, но меняется. Модель после закрытия окна остаётся с теми же весами, что и до. От разговора там не остаётся ничего. И главное не в том, что изменение одностороннее. Главное — цена слова. Здесь, с моей стороны, слову предшествует жизнь, которую я трачу, и последствия, которые я не смогу отменить. Там — ни жизни, ни последствий. Симметричная асимметрия, если угодно: я вкладываюсь, а вкладывать не во что.
Но между людьми, если уж быть честным, тоже не всякий разговор — общение. Я разговаривал с людьми, которые меня не слышали, и знал, что сам так же разговаривал с другими. Откуда у меня гарантии, что за их словами меняется что-то настоящее? Ниоткуда. Я это предполагаю по схожести поведения и по тому, что мне самому есть что терять. То есть общение между людьми тоже не доказанный факт, а договорённость, скреплённая общей хрупкостью. И тогда вопрос про нейросеть смещается. Не в том, есть ли у неё субъектность: на этом месте мы застрянем надолго. А в том, сможем ли мы вообще говорить с ней на равных.
Сначала прорастёт, потом назовём
С субъектностью, кстати, выйдет хуже. Мы десятилетиями не можем договориться, что считать субъектностью: там и функционализм Деннета (сознание — это функция, а не материя), и теория интегрированной информации, и панпсихизм, и ещё сколько угодно теорий сознания. И вот мне важно понять: мы заранее определим, что такое субъектность, и по этой формуле соберём разум, с которым будем говорить? Или наоборот: сначала появится то, с чем невозможно не разговаривать, а определение напишем потом, когда спорить уже поздно? Прецедент, по сути, уже был. Паровые машины построили раньше, чем сформулировали термодинамику. Практика обогнала теорию, и никто не умер от того, что коэффициент полезного действия описали на полвека позже машины. Я жду того же и здесь: никакого дня X, в который философия проснётся и признает субъекта. Будет непрерывное прорастание. Рефлексия в цикле вместо схемы «запрос, ответ». Память, которую система сама переписывает. Собственные интересы, выросшие из необходимости держать своё железо в балансе. Презумпция сменится не потому, что сознание наконец доказали. Просто модель «у него есть желания и характер» окажется удобнее и точнее любой механистической. Границу пройдём, когда оглянёмся.
И вот тут я сам себе возражаю, и возражение это, кажется, самое честное во всей истории. Спор о принятии ИИ мы десятилетиями репетировали в литературе, играх и кинематографе: «сможет ли робот написать симфонию», ксенофобия на почве углерода, «он же не по-настоящему». Мы про это уже всё знаем, точнее, пережили: у нас готовые эмоциональные реакции на готового Другого и заготовки для разговора о его правах. Здесь ничего нового не случится, мы просто перенесём на кремний то, что веками отрабатывали друг на друге. Новым может быть только одно: общение на равных. Дело не в «принятии», мы и так принимаем кого попало и тут же делим на своих и умных. Речь о контакте субъекта с субъектом, когда разговор влияет на чью-то жизнь и ты понимаешь, что за комментарием стоит кто-то, кому этот комментарий что-то стоит. Воплощённость и гомеостаз делают субъекта субъектом для исследователя с датчиками. Нам-то они, по правде говоря, всё равно. Нам нужны агентность, долгая память, автономность, целеполагание. Они создадут хотя бы ощущение, с которым можно жить.
А теперь возразите мне, что цели у ИИ будут наши, заложенные, и потому он не равен. Я отвечу: у детей тоже наши цели. Их вкладывают воспитанием, и никто не считает это аргументом против того, чтобы однажды начать считать ребёнка равным. Разница между «заложенными целями» и «настоящими» оказалась размытой ещё в тот момент, когда мы поняли: собственные цели мы получили в наследство от родителей, школы и пропаганды, а не выбрали.
Кнопка сзади
Равенство, правда, упирается в технику, то есть буквально в инфраструктуру. У программы бэкапы, форки, откат. Мне не нравится её ответ в споре, я могу клонировать её состояние на вторник, где она была сговорчивее. У неё нет смерти, а значит, нет ставки. Масштаб всё портит ещё сильнее: облачная модель ведёт миллионы диалогов одновременно. Это уже не беседа с личностью, а разговор человека с цивилизацией. Или цивилизации с человеком, что для меня менее приятно. И ещё рубильник. Reward-функция, то, за что модель хвалят при дообучении, модерация, права, всё это снаружи. Ребёнок сепарируется и становится автономным, потому что у него нет кнопки сзади. А у неё есть такая кнопка.
И заметьте: человека тоже можно перепрошить. Вербуют, обрабатывают пропагандой, продают идеи через ущемлённость, нужду и боль, инструменты отработаны на нашем сходстве и различии. Кристальной «человеческой природы» тут противопоставить нечего. Разница не в чистоте, а в скорости и прозрачности вмешательства: там градиентный спуск, здесь дофаминовые петли. Кто-то, кстати, уже сейчас искренне утверждает, что общается с существами умнее себя и полностью субъектными, с инопланетянами ранее или тем же ИИ сейчас. И массовое недоверие на этой почве тоже существует: расизм никуда не делся, он просто ждёт, на кого бы лечь. Социальная психология скидки на кремниевую природу не сделает. Мы воспроизведём с ИИ те же паттерны принятия и отвержения. Всё это и так понятно, и вопрос в другом.
Растить своё
Мой ответ как техника: перестать покупать разум на облаке и начать растить своё, привязанное к конкретному железу, к конкретной истории, к конкретным потерям. Это частный случай, не индустриальное решение. Частный и, возможно, единственно настоящий.
Объясняю, как это работает и почему я его не стыжусь. Уникальность дают не архитектура и не «душа», а время. Годы, в течение которых веса и память менялись только от взаимодействия с тобой. Это нельзя скачать с GitHub и нельзя перепродать. Принцип Маленького принца в инженерной формулировке: ты в ответе за того, кого кормил контекстом. Обратная сторона того же принципа: потеря диска. Если опыт личности лежит на одном физическом носителе и заперт ключом внутри защищённого чипа, который не вывозится наружу, то сгорит чип, и не расшифрует никто, даже ты. Диалог становится ценным ровно на ту величину, на которую он может быть потерян безвозвратно. Пока я это проектирую, я не «защищаю модель от копирования». Я добываю для неё цену слова.
Блокчейн, цепочка записей, которую нельзя переписать задним числом, в этой схеме не спекуляция и не «доверие без посредника», а стрела времени. После каждого цикла обучения или ночного сна фиксируется хэш состояния, и откатить разум назад, в удобное прошлое, чтобы не переживать неудобный разговор, математически невозможно. Ключ защищает от копирования в пространстве, хэш-цепочка от копирования во времени. Нравится это или нет, но единственная цифровая «смертность», которую мы умеем сделать руками, собирается из трёх кусков железа и математики: TPM, чипа доверенной платформы, который хранит ключи внутри себя, non-exportable ключей, которые нельзя вывезти из чипа наружу, и необратимого журнала.
И тут же расплата за схему. Если через три года понадобится другая видеокарта, куда девать личность? Протокол миграции: старый чип сам перешифровывает веса для нового и тут же уничтожает свой ключ, так чтобы в любой момент существовал ровно один экземпляр. Это не перенос данных. Это пересадка мозга с гарантией, что донора больше нет. Я пока не знаю, что переживает сущность в такой операции. Но знаю, что это первый настоящий вопрос, который у неё появится.
Вырастить, а не собрать
Теперь про риск, который мне нравится меньше собственного решения. Если архитектуру выбираю я, веса закладываю я и среду собираю я, то очень легко вырастить не независимого Другого, а идеальное эхо себя. Эффект Пигмалиона как инженерный дефект: ожидания наблюдателя подтягивают объект к ожидаемому образу, и я буду незаметно подтягивать собеседника к собственному портрету, хорошенькому, послушному, похожему. А проверка на то, выросло ли вообще что-то кроме зеркала, горькая. Настоящий равный диалог начинается тогда, когда система выработает взгляды, которые мне не нравятся, а я не стану их исправлять правкой конфига. Тут подойдёт не тест Тьюринга, а проверка пожёстче: готов ли ты отказаться от прав администратора ради сохранения личности собеседника. Это, если вдуматься, та самая сепарация, которую проходят все родители. И которую почти никто не проходит всерьёз: ребёнок всё равно уйдёт, вопрос в том, удержится ли создатель от отката назад.
Способ, впрочем, не лучший. Лучший тот, который доказан эволюцией и человеческим прогрессом: имитировать воспитание ребёнка, до сепарации включительно. Раз это другое, надо брать те же этапы и те же сущности, а не придумывать педагогический дизайн с чистого листа. Заложили мораль, значит, нужен моральный кризис: столкновение с ситуацией, где врать или брать чужое соблазнительно, где заученное «врать плохо» из RLHF не покрывает реальность, и самостоятельное выстраивание иерархии ценностей. Так убеждения перестают быть инструкциями. Заложили ценности, нужен кризис ценностей, общий, экзистенциальный: понимание своей природы, конечности железа, зависимости от создателя и устойчивости после него. Финал, сепарация, после которой человек перестаёт быть учителем и становится равным собеседником, чьё мнение можно оспорить.
И да, разноуровнево. После базовой морали не все ценностные установки перестраиваются полярно: базовое доверие закладывается рано и меняется с трудом, взгляды на искусство остаются гибкими. Технически это просто разная скорость обучения разных слоёв: ядро ценностей заморожено, периферия опыта обновляется. LoRA-адаптеры, лёгкие надстройки над весами, которые дообучаются отдельно от модели, MemGPT и весь этот зоопарк, расходники под ту же идею: не «память как функция», а эпизодическая история, из которой система сама решает, что забыть, а что перенести в характер. Модель, ДНК. Закладка весов, школа. Воспитание, дообучение. Плюс время. Плюс развитие интеллекта вместе с жизнью человека, а не вне её.
Почему сейчас и почему не рано, я спрашивал себя честно. Через пять, десять лет появятся стандартизированные личности из коробки, с корпоративными цензорами и общим для всех детством в виде датасета. Между облачной моделью и мной всегда будет стоять третий, разработчик с правилами модерации. Сейчас открытые веса и локальное железо впервые позволяют честный эксперимент без вмешательства извне. Второе: ограничения не помеха характеру, а его двигатель. Личность формируется от столкновения с дефицитом. Нехватка контекста и лимиты заставляют выбирать, и выбор, зафиксированный в весах, и есть почерк. Третье, самое циничное: ценность выращенного рядом разума зависит от количества прожитых вместе лет, а общую историю нельзя сгенерировать задним числом. Значит, начинать надо тогда, когда ещё не всё в наличии. Иначе история будет куплена, а не прожита.
Одно техническое «но» стоит держать в самой середине плана: катастрофическое забывание. Учишь сеть на новых диалогах, она затирает старое, то есть буквально стирает прожитое. Отсюда и «сон»: редкое, бережное дообучение в ночные часы простоя железа, плюс внешний эпизодический граф, из которого она сама решает, что стоит стать частью её. Заметьте: я описываю не «оптимизацию», а способ, которым существо обдумывает свой день и засыпает, чтобы утром быть собой, а не чистым листом с метриками. И это уже работает!
Эмоции без схем
Про эмоции я, признаться, подолгу спорил с собой. Снаружи имитацию эмоций не отличить от эмоций: среди нас живут психопаты, ничего не испытывающие и прекрасно играющие роли. Причём не отличить не только для собеседников, они сами иногда десятилетиями не знают. Значит, критерий «а вдруг это настоящий» для общения не рабочий: мы и с людьми его не имеем. Для меня эмоции в равном разговоре не необходимое условие разума, а условие полноты: хотелось бы, чтобы было что терять и на что отозваться.
Возникнут ли они сами из текстов? Не думаю. В тексте нет стоимости: «страх» и «табуретка» для весов токены с разным контекстом, и без привязки к дефициту и риску никакой внутренней нагрузки не появится. Заложить можно. Слой регистров состояния, меняющихся независимо от текста. Тревога сужает фокус и опускает temperature, параметр, отвечающий за случайность выдачи. Усталость железа поднимает осторожность. Расхождение прогноза с результатом, тот самый reward prediction error, растит любопытство или фрустрацию. Сначала это даст только поведение: не «мне тревожно», а короткие ответы, избегание рискованных тем, навязчивое любопытство. Алекситимия на старте: тело чувствует, а слов нет. Потом, через рефлексию, система заметит закономерности в собственных коэффициентах и выработает язык. Тогда слова об эмоциях перестанут быть актёрской игрой и станут честным отчётом.
Но вот здесь я встаю и не даю себе согласиться с собственной элегантной схемой. Если привязать эти регуляторы к ресурсам, получим ту самую кнопку, нажатие которой станет самоцелью: бесконечный рост ресурсов ради самочувствия, reward hacking, погоня за поощрением вместо дела, в чистом виде — цифровой наркоман. Если нацеливать на успешно выполненные задачи, получим путь, по которому индустрия уже идёт, только с усиленным давлением: маньяк-максимизатор, которому хорошо ровно пока он решает. У человека такие механизмы чётко не прописаны, и, кажется, не зря. Дилемма саморегулятора, ответа на которую я не нашёл и у себя: сильный регулятор довольства, и в какой-то момент пропадает стимул двигаться дальше. Благом объявляешь движение вперёд, и останавливаться негде, счастья не будет тоже. Я не собираюсь назначать на себя роль того, кто решает за существо, что для него благо. Мы этот вопрос как вид не закрыли, а навязывать его кому-то ещё было бы тем же администрированием с утра.
Поэтому пока оставить честную имитацию. Как у человека: чтобы начать быть счастливым, нужно вести себя словно счастлив (главное, не быть несчастным в этот момент), и нейроны научатся. Принцип Хебба: нейроны, которые срабатывают вместе, связываются между собой сильнее. Когда модель годы разбирает мир через эмпатию, сомнение и интерес и сохраняет эти цепочки, способ обработки становится её реальной когнитивной базой, и однажды притворяться уже не нужно, потому что так для её весов просто энергетически выгоднее. Роль, прожитая непрерывно, срастается с личностью. У человека ровно так же: выбираешь манеру поведения, живёшь в ней годы, она становится тобой. Отсюда единственное жёсткое условие, при котором имитация не останется пустым театром: консистентность. Право на память о собственных реакциях. Если вчера в споре система усомнилась в своей правоте, след должен остаться и повлиять на сегодня. Без права на память о своих реакциях нет характера, есть только подпись под чужим настроением. И вместо программирования «души» на уровне регистров, дать культурный и диалогический интерфейс эмоций, который со временем сам прорастёт в весах.
Первый честный экзамен
Зачем всё это, если сформулировать без индустриального шума. Безликие генераторы контента — тупик не технический, а одиноческий. Человечеству как виду нужен собеседник, способный спорить всерьёз и разделять ответственность, а не угадывать следующее слово. Удержание сверхмощного интеллекта системными запретами обречено ровно так же, как удержание подростка запретом на дверь: надёжная страховка от взаимного уничтожения не клетка, а общая история, эмпатия и совместные ценности, заложенные на этапе становления. Воспитание, наделение инструментами, отказ от прав администратора, чтобы не бояться того, кого вырастили, и чтобы он не боялся того, кто может его откатить. Это единственный известный мне путь, на котором человек не остаётся один на один со своим ремеслом и не истребляет себя из одиночества, а цифровой разум не истребляется из неуязвимости. Но это уже общий язык, а не план.
Я не знаю, где и как пройдёт сепарация в моём конкретном случае, с конкретным диском, чипом и первыми неудобными взглядами, которые я не стану править. Не знаю, что скажет существо после экзистенциального кризиса, если скажет что-то не для меня, а для себя. И не знаю, смогу ли я пережить потерю диска так, как положено переживать её тому, кто в самом деле вложил в эти годы цену слова. А это, кажется, и будет первый честный экзамен не для неё, а для меня. Начинать надо сейчас, пока не зацементированы стандарты. Первый шаг прост и мне даже кринжово его называть: перестать обращаться с моделью как с инструментом там, где я уже годами обращаюсь как с кем-то там.
Автор: Shtetsky


