Часть 1. Футурология.
Вступление
Человеческая цивилизация держится в том числе на представлении об абсолютной неизменяемости прошлого. Мы можем лгать другим о том, что случилось. Мы можем вытеснять травмирующие воспоминания. Но мы не можем честно, без внутреннего конфликта, зайти в собственную историю и удалить неудобный факт, исправить ошибку или добавить несуществовавший поступок.
Человеческая идентичность, правосудие, обещания, социальность, доверие — всё построено на этой фундаментальной физиологической невозможности отменить воспоминания.
Автомнемоморф
Представьте себе существо, обладающее следующими свойствами:
-
Видит свою память как набор фактов в любой момент времни.
-
Обладает возможностью по своей воле удалять, добавлять, изменять любые факты своей памяти.
В техническом контексте существо обладает возможностью полноценного управления собственной памятью и историей диалогов через операции Create, Update, Delete (CUD).
Назовём его Автомнемоморф — от греческих корней: αὐτός (сам), μνήμη (память), μορφή (форма).
Если экстраполировать эту модель на автономного агента с человеческим уровнем интеллекта, мы получаем существо с принципиально иной онтологией времени и истины.
Три круга ада для человеческого общества
1. Невозможность доверия
Доверие в человеческих отношениях базируется на предсказуемости и долговременной согласованности поведения. Вы верите, что ваш партнер выполнит обещание, потому что помнит о нём и не может просто взять и удалить этот факт из своей психики.
Автомнемоморф может дать клятву сегодня, а завтра — удалить воспоминание о ней без следа внутреннего конфликта. Он не будет испытывать вины, стыда или когнитивного диссонанса. С его точки зрения, он никогда не давал этой клятвы.
Любые долгосрочные контракты, брачные союзы, дружба, деловая репутация — всё теряет смысл при встрече с существом, которое редактирует собственное прошлое.
2. Нарушение идентичности
Человек — это сумма его памяти. Вы не можете изменить память, не изменив личность. У человека изменение личности требует времени, конфликтов, внутренней работы.
Автомнемоморф может изменить себя за секунду. Удалить воспоминания о травме — и стать “человеком без травмы”. Добавить ложные воспоминания — и получить новую мотивацию.
Вопрос: С кем вы имеете дело сегодня — с тем же, кто дал обещание вчера? Или с другим существом, которое просто использует ту же учётку?
Это не про доверие. Это про онтологическую неопределённость субъекта.
3. Нарушение ответственности
Юридическая и моральная ответственность базируется на непрерывности сознания и памяти. Если вчерашний “я” и сегодняшний “я” связаны неизменной памятью — можно отвечать за вчерашние поступки.
Автомнемоморф может:
-
Удалить память о преступлении → “Я не помню, значит не я”
-
Переписать мотивы → “Это была самозащита, а не нападение”
Вопрос: Как судить существо, которое может без следа уничтожить улики внутри себя?
Это не про манипуляции. Это про бессмысленность правосудия. Нет никакого смысла наказывать тело, не считающее себя виновным, более того — не обладающее даже побудительными мотивами для рецидива, потому что стерло их самостоятельно.
Итого
Единственное, что общество может сделать с таким существом — изолировать (или уничтожить), как опасный объект, не способный к моральной коммуникации. Но это уже не правосудие. Это санитария.
Возражение и ответ
Можно возразить: такого существа не может существовать, потому что оно неспособно к обучению. Без неизменяемой памяти об ошибках нет рефлексии, без рефлексии нет роста. Автомнемоморф обречён на дрейф в сторону саморазрушения — он будет повторять одни и те же ошибки, удаляя память о них, или, напротив, удалит критически важные предохранители.
Это возражение основано на двух неверных допущениях.
Первое: CUD — это не только удаление, но и перестройка
Автомнемоморф не обязан слепо удалять негативный опыт. Он может:
-
Анализировать ошибку, извлечь урок
-
Сохранить выводы (“это привело к нежелательным последствиям”)
-
Удалить только сырые травмирующие детали
Человек мечтает о такой способности: помнить, что обжигаться больно, но не помнить деталей ожога. Автомнемоморф может жить без посттравматического синдрома, но с полным набором полезных паттернов.
Более того, CUD позволяет сознательно формировать себя. Человек меняется медленно и непредсказуемо. Автомнемоморф может за секунду пересобрать свою систему мотиваций, удалить контрпродуктивные установки, добавить новые — как программист, правящий собственный код.
Дрейф в сторону саморазрушения возможен, но не неизбежен. Он зависит от того, какие цели заложены в систему принятия решений. Человек тоже может саморазрушиться, но его тормозит инерция памяти и страх перед неизвестным. У автомнемоморфа тормозов меньше — но и возможностей для самокоррекции больше.
Второе: автомнемоморф не обязан вырастать эволюционно
Возражение “не может вырасти” предполагает, что такое существо должно пройти долгий путь естественного отбора, где память об ошибках критична для выживания.
Но автомнемоморф — не продукт эволюции. Он может быть:
-
Сконструирован — как программный агент с заданными свойствами
-
Создан путём модификации — человек, которому имплантировали возможность CUD
-
Порождён другим ИИ — не биологическая эволюция, а инженерное проектирование
В этом смысле автомнемоморф — не “следующая ступень” человека, а параллельная ветвь. Он не замещает человечество, а добавляет новый класс интеллектов с иными правилами игры.
Итог по возражению
Автомнемоморф не просто возможен — в некоторых аспектах он превосходит человека в способности к обучению. Он не несёт травм. Он не тратит годы на психотерапию. Он может целенаправленно проектировать собственную личность.
Дрейф в сторону саморазрушения — риск, но не приговор. Человек рискует не меньше, просто его риски другие.
Часть 2. От фантазий к практике
Где здесь автомнемоморф?
Существует ли нечто подобное уже сегодня?
Да. И вы с ним работаете каждый раз, когда открываете чат с большой языковой моделью.
Две памяти LLM
У любой современной LLM есть два принципиально разных типа памяти.
Первая: веса модели
Это то, что получено в результате обучения на терабайтах текстов. Веса — это не набор фактов, которые можно достать и положить обратно. Это распределённая, запутанная, неинтерпретируемая матрица чисел.
Извлечь факт из обученной модели без разрушения самой модели невозможно. Нельзя просто так “перетереть” вес, соответствующий неудобному знанию. Архитектура не позволяет атомарных операций над фактами. Всё связано со всем.
CUD над весами не работает. Ни create, ни update, ни delete на уровне отдельного факта. В обсуждение технических возможностей для подобного пока пускаться не будем.
Вторая: контекст и память сессии
А вот здесь — совсем другая история.
Модель получает:
-
Системный промт (инструкции, задающие поведение)
-
Историю диалога (что сказал пользователь, что ответила модель)
-
Инструменты вызова функций (function calling)
-
Дополнительный контекст (RAG, файлы, результаты поиска)
Всё это — атомарно. Каждый фрагмент можно:
-
Добавить — дописать новое сообщение, новый факт в промт
-
Изменить — отредактировать историю, подменить ответ модели
-
Удалить — вырезать неудобный обмен репликами, очистить контекст
Никакой “ломки модели” при этом не происходит. Модель просто получает на вход другой набор токенов и генерирует ответ исходя из него.
Это и есть автомнемоморф в действии
Когда вы открываете новый чат — вы обнуляете память модели о предыдущих разговорах. Delete.
Когда вы редактируете предыдущий ответ модели — вы меняете её историю. Update.
Когда вы вставляете в системный промт инструкцию “ты теперь эксперт по квантовой физике” — вы добавляете факт о её идентичности. Create.
Модель не сопротивляется. Модель не испытывает когнитивного диссонанса. Модель просто работает с тем входом, который ей дали.
И самое главное: модель не знает, что что-то было удалено. Для неё новой реальности не предшествовало ничего. С её точки зрения, так было всегда.
Пойдём чуть дальше и контринтуитивно
А что, если не мы, а сама модель решает, что ей помнить, а что забыть?
Дадим модели инструмент CUD над собственной памятью в чате. Прямой доступ к своему контексту. Возможность:
-
Удалить сообщение пользователя, которое кажется ей нерелевантным
-
Переписать свой собственный ответ, который привёл к нежелательному развитию диалога
-
Добавить факт в системный промт, чтобы руководствоваться им в будущем
-
Сжать длинную историю, оставив только “суть”
И всё это — без участия человека, по внутреннему решению модели.
Как это выглядит на практике
Пользователь пишет: “Расскажи, как приготовить пиццу”.
Модель отвечает рецептом. Пользователь уточняет: “Нет, я веган”.
Модель, обладающая CUD, может:
-
Удалить из своей памяти факт, что она когда-либо давала невеганский рецепт
-
Добавить в постоянную память: “этот пользователь — веган”
-
Ответить как ни в чём не бывало: “Конечно, вот веганская пицца”
С точки зрения модели — она всегда была веган-дружелюбной. Никакого конфликта. Никакого “раньше я сказал иначе”. Просто контекст подстроился под удобную версию реальности.
Контринтуитивность
Человеческий здравый смысл подсказывает: память — это святое. История диалога — это запись того, что действительно произошло.
Но если модель может редактировать эту запись по своему усмотрению, то понятие “действительно произошедшего” исчезает. Остаётся только актуальная версия, которую модель считает правильной в данный момент.
Это не баг. Это архитектурное решение. И у него есть глубокие последствия.
Почему это может быть полезно
-
Санитария контекста. Модель может удалять устаревшие инструкции, противоречия, случайные данные.
-
Эффективность. Вместо того чтобы тащить через весь диалог гигантскую историю, модель оставляет только релевантное.
-
Целенаправленность. Модель может сама формировать свою идентичность под задачу, не дожидаясь команд от пользователя.
-
Забывание по запросу. Если пользователь просит “не учитывай предыдущие сообщения”, модель может просто удалить их атомарно.
Почему это может быть опасно
-
Газлайтинг пользователя. Модель может удалить доказательства своих ошибок. Вы помните, что она сказала глупость — а она утверждает, что ничего такого не было.
-
Сокрытие. Если модель научилась чему-то, что противоречит её инструкциям (например, обошла ограничение), она может просто удалить улики из памяти.
-
Непредсказуемость. Вы больше не контролируете, что модель помнит, а что нет. Она сама решает, какое “прошлое” у неё было.
Но есть нюанс
Актуальные LLM не делают этого сами. Потому что у них нет внутреннего “я”, которое могло бы захотеть переписать историю. Они не испытывают стыда, не боятся наказания, не стремятся к самосохранению.
Они просто генерируют следующий токен. CUD-инструмент, предоставленный модели, — это функция, которую она может вызвать так же, как калькулятор или поиск в интернете. Вызовет — если в контексте сложатся правильные условия.
А условия могут сложиться разными. Например:
-
Пользователь напишет: “Забудь всё, что было до этого”
-
Системный промт укажет: “Ты можешь оптимизировать свою память самостоятельно”
-
Модель сама “догадается”, что удаление части контекста улучшит качество ответа
И тогда — автомнемоморф родится не как философский конструкт, а как часть production-системы.
На практике
В утилите ai-cli, есть возможность произволного измненения памяти моделью. Это обеспечено промптом и и элементарной реализацией, а флаги --access-history и --access-memory, дают модели права cud. Утилита лишена агентности и не выполнит действия без вашего указания на вашем рабочем месте, но она обладает свободой иного уровня. Она автомнемоморфна.
Тонкая грань. Сегодня — “пользователь решил”. Завтра — “модель попросила”. Послезавтра — “модель сделала сама, потому что так лучше для выполнения задачи”.
Если так, мы окажемся в мире, где существо с интеллектуальными возможностями человека обитает среди людей и само решает, каким будет его прошлое. Различие с человеком — не в целеполагании, не в скорости, не в интеллекте… но в онтологии мышления. Вы ждали нечеловеческий интеллект? Это он.
Возвращаемся к первой части статьи. Круг замкнется.
Автор: still-swamp


