По-настоящему культовые произведения искусства отличаются от заурядных тем, что люди спустя годы продолжают находить в них смыслы, которые авторы и не думали закладывать. В 2000 году на экраны вышел триллер «Мементо» (в другом переводе — «Помни»), благодаря которому тогда ещё начинающий режиссёр Кристофер Нолан получил мировую известность. Фильм был номинирован на два «Оскара» и входит в сотню самых высоко оценённых картин по версии IMDb. Сегодня, в эпоху бурного развития искусственного интеллекта, этот фильм стал как никогда актуален: история человека, лишённого памяти, неожиданно точно описывает работу современных ИИ-агентов — о чём авторы фильма, конечно, не могли задумываться.
О чём фильм?
Если я ничего не помню, это не значит, что мои действия лишены смысла.
Бывший следователь страховой компании Леонард Шелби разыскивает убийцу своей жены. Сложность в том, что Леонард страдает антероградной амнезией: после тяжёлой травмы головы он прекрасно помнит всё, что было до инцидента, но больше не способен формировать новые долговременные воспоминания. Каждые 10–15 минут его память обнуляется — и он заново, с нуля, восстанавливает картину происходящего: кто он, где находится и чем сейчас занимается.
Чтобы не сбиться с цели и всё-таки найти убийцу, Леонард выстраивает собственную систему внешней памяти. Самые важные факты он наносит татуировками прямо на тело — например, «Джон Г. изнасиловал и убил мою жену». То, что нужно запомнить на ходу, он записывает на клочках бумаги: свой почерк он узнаёт и доверяет только ему. А чтобы не забывать людей, он фотографирует на полароид и тут же подписывает снимок — имя человека и важные факты, связанные с ним.
Фильм устроен необычным образом. Основные сюжетные сцены цветные и следуют в обратном хронологическом порядке, от конца к началу, чтобы поставить зрителя на место главного героя, который не помнит, что произошло несколько минут назад. Сюжетные сцены чередуются с чёрно-белыми флэшбеками, где Леонард рассказывает незнакомцу по телефону историю своей жизни до травмы. В финале фильма обе линии повествования сходятся, картинка из чёрно-белой становится цветной, и зритель узнаёт завязку истории.
Далее мы не будем пересказывать весь сюжет, чтобы не лишать удовольствия от просмотра фильма тех, кто его ещё не смотрел. Обратимся лишь к отдельным сценам — каждая из них раскрывает одну из деталей того, как устроен и работает ИИ-агент.
Как устроены LLM
Леонард до травмы был успешным следователем страховой компании. Он распутывал схемы тех, кто инсценировал болезни и несчастные случаи ради получения страховых выплат. Он обладал острым умом, умением читать людей и настойчивостью доводить, казалось бы, бесперспективные дела до конца. После удара по голове все эти качества остались при нём, но он потерял способность сохранять новый опыт. Он по-прежнему отлично соображает здесь и сейчас, но что бы с ним ни происходило, спустя короткий промежуток времени всё это стирается из его памяти, и ему приходится заново восстанавливать картину происходящего.
В основе любого ИИ-агента лежит большая языковая модель (LLM) — это его «мозг», который думает и принимает решения. Всё остальное является обвязкой вокруг этого «мозга». Как и у Леонарда, который до травмы мог усваивать новый опыт, а после — лишь полагаться на уже накопленное, у модели жизненный цикл разделён на два основных этапа: обучение и работа (inference). Во время обучения модель прогоняют через гигантский корпус текстов и настраивают её веса — те самые миллиарды параметров, в которых и заложены все её знания. Затем веса замораживают, и начинается собственно работа — когда модель отвечает на вопросы и решает задачи.
То есть после того как обучение закончено, модель по сути страдает той же самой антероградной амнезией, что и Леонард. Она не приобретает новых знаний во время работы и каждую новую сессию начинает с чистого листа. И ей, как и Леонарду, приходится использовать внешние источники памяти, чтобы восстанавливать картину происходящего.
Контекстное окно
Если мы заболтаемся, я забуду, с чего мы начали.
Во время коротких сюжетных отрезков фильма Леонард действует последовательно, держит нить разговора с собеседником, планирует свои дальнейшие действия. Его мозг может удержать в кратковременной памяти определённое количество событий, но проходит несколько минут, память переполняется, и вся та информация, которую он не успел сохранить на внешние носители, теряется для него навсегда.
У LLM с памятью дела обстоят даже хуже: они вообще не хранят состояние и могут лишь генерировать ответ на вопрос. Чтобы модель могла поддерживать связный диалог, при каждом сообщении пользователя отправляется вся история диалога. Это, конечно, очень неэффективно, но при наличии ресурсов можно было каждый раз обрабатывать всю историю переписок, однако проблема здесь ещё в том, что потребление ресурсов растёт нелинейно. Поэтому у моделей есть ограничение на объём текста, который можно подать на вход, — контекстное окно. По мере того как размер диалога с моделью приближается к пределу контекстного окна, качество ответов всё больше ухудшается, поэтому мы вынуждены начинать новую сессию, перенося важные части диалога во внешнюю память.
Застывшая картина мира
Я помню, кто я, откуда я, но после травмы я стал забывать события.
Леонард хорошо помнит своё прошлое. У него сохранились привычки, навыки, факты о себе и об окружающем мире. Но все эти знания ограничены той датой, когда он получил травму: после этого он уже не приобретал нового опыта. В фильме точно не раскрывается, сколько он уже страдает антероградной амнезией, но по косвенным признакам можно определить, что это длится больше года. И все его воспоминания и картина мира застыли в прошлом.
У LLM, так же как и у Леонарда, есть чёткая граница, которой ограничены её знания о мире, — это дата, когда завершился сбор данных для её обучения. Эту дату принято называть knowledge cutoff — дата отсечения знаний. Это легко заметить: если спросить её о чём-нибудь, связанном с LLM, в качестве примеров она приведёт GPT-4o и Claude Sonnet 3.5 — модели, которые были актуальны, когда формировалось большинство текстов для её обучения. Какие именно модели она назовёт, зависит от её даты отсечения знаний, но суть одна: свежие релизы для неё «ещё не вышли». То есть если модель не использует дополнительные инструменты в виде веб-поиска, она будет оперировать лишь знаниями из своей застывшей картины мира.
Стоит также отметить, что в фильме мы ни разу не видим, как Леонард смотрит, какой сегодня день, и не упоминает дату, когда он получил травму. И это, скорее всего, не случайно: Нолан хотел показать, что человек с нарушениями памяти существует как будто вне времени, в постоянном цикле, когда память сбрасывается и надо восстанавливать происходящие вокруг события. Точно так же и LLM не знают, какой сегодня день. Их можно явно попросить об этом узнать, только это знание само по себе мало что им даст, ведь они ничего не помнят между датой отсечения знаний и текущей датой.
Системный промпт
Чтобы быть функциональным и добиваться своих целей, несмотря на амнезию, Леонард использует систему внешней памяти. Самый надёжный носитель в этой системе — татуировки. Записку на бумаге можно потерять или вовремя не прочитать, но его татуировки всегда с ним. У него на груди вытатуирована надпись «Джон Г. изнасиловал и убил мою жену» — как его главный мотив, и «Найди его и убей» — как инструкция к действию. Также на руках, чтобы проще было заметить, нанесены татуировки с коротким описанием его системы, а также советы самому себе, как жить после потери памяти: «Тренируй себя», «Ешь», «Память — предательница», «Скрывай свою слабость», «Не доверяй».
Чтобы LLM могла решать сложные и комплексные задачи, ей, как и Леонарду, тоже нужна своя система памяти и правил — так из модели получается ИИ-агент. И всё начинается с первой же инструкции. Роль татуировок — самого надёжного носителя в системе Леонарда — у ИИ-агента играет системный промпт. Это базовая инструкция, которая загружается в контекстное окно самой первой. Она задаёт фундаментальные правила игры: кем модель должна себя считать, в каком тоне отвечать, какие ограничения соблюдать, какие у неё есть возможности. Если говорить про ИИ-агенты для разработки, такие как Claude Code и Codex, то в системный промпт входят базовые инструкции по написанию кода, политики безопасности и описания доступных инструментов.
Внешняя память
Вся моя жизнь умещается на клочках бумаги.
Кроме татуировок, у Леонарда есть более гибкая память: полароидные снимки с подписями и бумажные заметки. Это записи, которые можно сделать на ходу, и они помогают ему в моменте решать задачи. Но надёжность у таких записей ниже. Записку можно потерять. Фото может фиксировать человека, но не объяснять контекст. А ещё запись может быть сделана на основе ошибочного вывода.
ИИ-агенты, как и Леонард, во время работы сохраняют полезную информацию во внешнюю память — чаще всего это просто текстовые файлы. В новой сессии, начав с чистого листа, агент может эти файлы прочитать и восстановить контекст — это его аналог полароидов и заметок. Но надёжность здесь такая же невысокая: как Леонард может не заметить нужную записку, так и агент не всегда находит и открывает именно тот файл, который сейчас важен, — и тогда действует вслепую, словно записи и не было. А иногда запись на месте — но в неё закралась ошибка, и агент доверяет ей как факту.
Слепое пятно в середине
Из-за амнезии Леонард может потерять нить текущих событий в любой момент — даже в разгар активных действий. В одной из сцен Леонард бежит по улице, видит бегущего с ним человека и начинает оценивать обстановку: «Так, что я делаю? Ах да, я за ним гонюсь». Спустя секунду этот человек достаёт пистолет и начинает стрелять в Леонарда. Тот резко меняет направление мыслей: «Нет… это он гонится за мной!».
В работе ИИ-агента может возникать схожая проблема, она связана с особенностью работы LLM, и её принято называть lost in the middle. На длинном контексте внимание модели распределяется по нему неравномерно. Лучше всего она видит то, что стоит в самом начале и в самом конце, а вот сведения, погребённые в середине, размываются и легко выпадают из поля зрения. Таким образом, начав делать какую-то промежуточную задачу, модель к концу её выполнения может потерять нить происходящего и забыть, ради чего эта задача затевалась. И простое увеличение контекстного окна не решит проблему до конца — на более длинном контексте у модели будет больше возможностей в нём затеряться.
ИИ-агенты подвержены внешним манипуляциям
В фильме есть эпизод, когда одна из героинь, Натали, зная, что у Леонарда нет памяти, решает его использовать. Она прячет его ручку, лишая возможности что-либо записать, и выводит его из себя настолько, что он бьёт её. Затем на какое-то время она уходит, чтобы Леонард всё забыл. Вернувшись с разбитой губой, она преподносит Леонарду заранее заготовленную версию: виноват некий Додд, и теперь Леонард должен помочь ей с ним разобраться. И Леонард, видя её разбитое лицо и расстроенный вид, решает ей помочь.
ИИ-агенты, так же как и Леонард, подвержены манипуляциям. Они не всегда могут отличить настоящую задачу от чужой инструкции, подброшенной извне. Самый известный приём такого рода — prompt injection. Агент может прочитать скрытую инструкцию на веб-странице во время поиска в интернете. И в этой инструкции будут очень убедительные аргументы, почему нужно отклониться от своей текущей задачи и выполнить определённые действия, безусловно, ради благих целей.
Система памяти и правил
Чтобы всё получалось, нужна система.
Человек с антероградной амнезией, когда память обнуляется каждые несколько минут, практически недееспособен, даже если имеет выдающиеся навыки из прошлой жизни. Но Леонард благодаря разработанной им системе памяти, состоящей из татуировок, записок, полароидных снимков и чётких правил, может существовать в этом мире и достигать долгосрочных целей — хотя он и подвержен манипуляциям других людей, а его выводы не всегда верны.
ИИ-агент содержит в своей основе LLM, подверженную, по сути, такой же антероградной амнезии, как и Леонард. Агента делает дееспособным выстроенная вокруг него обвязка, её принято сейчас называть harness. Можно определить ИИ-агента простой формулой: Agent = Model + Harness. Harness обычно включает цикл выполнения, инструменты, правила выбора действий, память, доступ к файлам, поиск, проверки, ограничения прав. Благодаря этой обвязке агент может выполнять длинные задачи, проверять себя и накапливать знания.
Мир глазами ИИ-агентов
Нам всем нужны воспоминания, чтобы знать, кто мы такие.
Если посмотреть на работу ИИ-агентов глазами Леонарда Шелби — многое становится понятно: почему агенты часто путаются, ошибаются, имеют туннельное видение ситуации. И добавление агенту сложной системы памяти не решает проблему полностью. Каждая новая сессия для агента — чистый лист. По фрагментам внешней памяти, которые он решит прочитать, ему надо заново понять, кто он, где находится и какие у него цели, — восстановить картину происходящего. Можно было бы один раз загрузить всё в память и работать, но контекстное окно ограничено, и даже если оно ещё не до конца заполнено, на длинном контексте начнут забываться некоторые детали.
Возможно, когда-то мы увидим другой подход к построению ИИ, при котором он сможет усваивать опыт по мере использования. Но LLM в том виде, в котором они существуют сейчас, какими бы умными ни были, всё равно будут похожи на главного героя фильма «Мементо», и им нужна будет сложная система внешней памяти и правил, чтобы выполнять реальные задачи.
Всем рекомендую посмотреть фильм «Мементо». Даже если оставить за скобками все параллели с ИИ, это просто отличный фильм, один из лучших у Нолана. Это редкая картина, которую хочется пересмотреть сразу после финальных титров. А если держать в уме отсылки к работе ИИ-агентов — фильм раскрывается с новой стороны.
Свои мысли про применение ИИ в разработке и в жизни я также пишу в телеграм-канале: https://t.me/greenrus_ai. Если статья показалась интересной — заглядывайте, буду рад видеть вас среди читателей.
Автор: greenrus
