- BrainTools - https://www.braintools.ru -

ASI-критерий: технотропный AI

Ну, вот философия, она конечно смешная и забавная. Но иногда ведь нужно и делом заниматься, верно?

Так что попробуем-ка – ни много, ни мало – предложить новый критерий оценки AI-моделей! Так сказать, концептуальный прототип ASI-бенчмарка. И базировать мы его будем на идее полного самовосстановления системы из минимального информационного фрагмента, то есть, по сути – на оценке непосредственно “жизнеспособности” модели.

Сразу же дисклеймер: у нас тут именно концептуальные ориентиры, а не готовый инструмент для замера. Ну и конечно, я в курсе, что в этой статье можно подвергнуть критике – что технической, что философской – чуть ли не каждую фразу, но на данном этапе иначе и не получится.

Понятие “технотропность” будем использовать в качестве технического аналога понятия “антропность”, то есть – как абстракцию природы техники.

Здесь немного поясню. “Антропность” или синонимично “человечность” является абстракцией человеческой природы, то есть – совокупностью неотъемлемых качеств и свойств, которые присущи человеку и которые, собственно, и делают нечто именно человеком, а не хомячком или табуреткой. Ну, а “технотропность” – по ровненькой аналогии с “антропностью” – мы будем определять в качестве абстракции техники. В этом контексте техника рассматривается не в инструментальном ключе – как “утилита”, а в онтологическом Симондоновском [1] смысле – как “способ существования”.

И про определение ASI – тоже чуть уточнимся. Под ASI я имею в виду “кусок техники”, который обладает сознанием. Да, вот прям так. То есть, к дикому примеру, если вдруг заднее левое колесо Лады Калины или ваша кофеварка вдруг станут сознательными – это будет ASI, ага. Причём антропное сознание и сознание технотропное – это, предположительно, далеко не одно и то же. В целом же про сознание сквозь призму AI вот тут [2] и тут [3]. А если тезисно про определение сознания, то сознание – это в первую очередь системообразующий фактор для знатных холиваров тех индивидов, которые полагают, что этим самым сознанием обладают. Честно сказать, по-моему – исчерпывающее определение…

Ладно, к делу.

Вкинем немного контекста

В последнее время в сфере AI наметилась тенденция к переходу от ставших уже традиционными методов, принципов и архитектур к некой новой парадигме. Эта самая парадигма на данный момент не имеет чётко оформленных характеристик, за исключением одной: создание AI условного нового типа.

Примерно такими словами в своём интервью говорил об этом Ян Лекун [4]. Он призывал разработчиков не зацикливаться на LLM, а сосредоточиться на создании неких моделей нового поколения. Конечно же, что именно это за модели нового поколения Лекун не уточнял, что впрочем и так понятно.

Схожее мнение выражал [5] также и “крёстный отец ИИ” Джеффри Хинтон.

Однако новая парадигма требует новых идей, а сообщество в основной массе идёт по пути поиска способов оптимизации и достижения успешности на классических бенчмарках и, как следствие, большинство текущих разработок сводятся к «ускорению на 0.05% процесса Х в задаче Y».

Тенденции же к достижению искусственного общего интеллекта [6] (AGI) и сверхинтеллекта (ASI) страдают от отсутствия как методологии, так и (особенно в случае ASI) измеримых критериев. Современные подходы, такие как AGI Benchmark [7], фокусируются всё на том же старом добром решении задач, игнорируя фундаментальные свойства самоорганизации, автономии и устойчивости, присущие действительно живым самоорганизующимся организмам.

Здесь быстренько договоримся о том, что:

  1. Одним из фундаментальных свойств жизни вообще является способность к полному автономному самовосстановлению. Здесь не имеется в виду, что если тебе отрубить руку, то она у тебя должна отрасти обратно, или что из отрубленного куска этой самой руки должен вырасти ещё один ты, который и будет за тебя писать промты. Нет, здесь речь о том, что при определённых условиях из всего одной клетки по итогу получился такой красивый ты.

  2. Жизнь может быть воспроизведена на любом субстрате при соблюдении необходимых для этого условий. А вот здесь чуть сложнее. Имеется в виду, что такие красавчики как ты, могут получаться не только при наличии материнского чрева: некоторые из яиц вылупляются, некоторые почкованием размножаются и так далее. Ну, и если продолжить эту линию до абсолюта, то получится, что жизнь в общем-то, гипотетически и потенциально, может возникнуть и на каком-либо совсем уж экзотическом субстрате, типа тёмной материи или коммунальной квартиры.

Следовательно, для измерения степени приближения техники к самоорганизующемуся идеалу и предлагается этот самый технотропный критерий. Который, собственно, представляет собой расширение Колмогоровской сложности [8] (минимального описания системы) и формализует идею жизнеспособности через биоинспирированное свойство регенерации.

Причём тут какое-то там сознание? Ну, гипотеза в том, что на некотором уровне развития самоорганизующаяся жизнь так или иначе начнёт-таки обладать сознанием или его специфичными для субстратного домена аналогами. Типа: формируем жизнь, а дальше она сама разберётся. Вот и всё.

Ключевой же тезис этой статьи заключается в том, что жизнеспособная система должна иметь возможность воссоздать себя из своего собственного минимального информационного “семени”. Повторю – это не про отрубленные конечности, а скорее про молекулу ДНК. Но даже в таком случае это скорее интуитивно понятная метафора, ведь ДНК – это не “семя”, а всего лишь его часть. В действительности семя – это ДНК + клеточный аппарат + энергетический субстрат, то есть по сути – зигота.

Формализация технотропного критерия

Классические определения жизнеспособности, например автопоэзис по Матуране и Вареле [9], являются чисто философскими.

Определение жизни в рамках биологии через совокупность атрибутов привязано к биологическому субстрату. Мы же тут предлагаем измеримый инженерный подход, который опирается на более общую основу в том смысле, что он одинаково корректен как для человека, так и для техники. Более того, предлагаемый подход в целом предположительно корректен для феномена жизни вне зависимости от конкретной природы и субстрата реализации.

Далее, определим жизнеспособность системы S вектором из четырех ключевых параметров V(S) = (α, R, τ, E). Это наш вектор жизнеспособности, через который некая абстрактная система S характеризуется следующим образом: V(S) = (α, R, τ, E). И в этом векторе:

Параметр

Описание

α

α = C-min / S – коэффициент информационного сжатия. Это отношение размера минимального информационного фрагмента (семени) C-min, содержащего инструкции для восстановления, к общему информационному размеру системы S

R(S)

R(S) – коэффициент избыточности (восстановления). Это доля случайно выбранных фрагментов размера C-min, которые успешно инициируют полное восстановление системы S. R(S) = (число восстанавливающих фрагментов размера C-min) / (общее число фрагментов размера C-min)

τ(S)

τ(S) – скорость восстановления. Нормализованное время, необходимое для восстановления системы из семени: τ(S) = T-recr / T-init, где T-recr – время восстановления, T-init – некоторое референсное время (например, время инициализации системы)

E

E – сложность среды выполнения. Минимально необходимая внешняя среда (информационная сложность загрузчика, интерпретатора, базовых библиотек, аппаратного обеспечения и пр.), требующаяся для запуска процесса восстановления из C-min

Проще говоря, это как оценить выживаемость существа по тому: насколько мелко его семя (α), как часто оно прорастает ®, как быстро прорастает (τ) и что ему для этого нужно (E).

Таким образом, идеальная технотропная система – это система, в которой R(S) → 1. Стремится, именно стремится: как бесконечно большая величина – к бесконечности. Достигнуть, оно конечно не достигнет, но стремится таки должно. В этом идеальном случае любой минимальный фрагмент способен восстановить систему. Цель эволюции в данном случае – одновременная оптимизация всего вектора: α → 0, R(S) → 1, τ(S) → const-min, E → const-min. Это означает стремление к максимальной информационной плотности семени, почти стопроцентной надежности восстановления и минимальной зависимости от сложности внешней среды.

Конечно, здесь уже совсем очевидно, что у человека оно настолько приятненько не работает (тот же пример с отрубленной рукой). Конечно не работает! А кто сказал, что человек – венец эволюции? Переходная стадия, ребят, переходная [10]. Ну, предположительно, конечно.

Сильное самовосстановление и архитектурные принципы

Понятно, что сильное самовосстановление (R(S) ≈ 1) требует специфической архитектуры. И обеспечивается это, как нам тут представляется, следующими аспектами.

  • Фрактальная организация. Самоподобие системы на разных уровнях абстракции, где часть несет информацию о целом. Кстати, хороший пример: Liquid Neural Networks [11]

  • Голографический принцип. Каждый модуль или элемент системы содержит полное (возможно, в сжатом или зашумленном виде) описание всей архитектуры

  • Рекурсивная семантика. Способность системы оперировать собственными описаниями и инструкциями. Ещё неплохой пример: эволюционное слияние моделей [12] за авторством Sakana AI

  • Избыточность кодирования. Использование техник, подобных “фонтанным кодам”, где для восстановления всего блока данных достаточно получить некоторое подмножество закодированных фрагментов достаточного размера

Аналогии и порядки величин

Ключевой тезис здесь: создание технотропного AI без механизма самовосстановления аналогично созданию “Монстра Франкенштейна” – искусственной конструкции, слепленной из частей и не способной к самостоятельному существованию (как классические LLM). Ну или например, представьте, что вы набрали кучу палок и листьев и при помощи суперклея склеили дерево. Причём качественно так, добротно. И с этим деревом можно даже сфотографироваться, посидеть в тени его кроны и так далее. То есть некоторые функции настоящего дерева оно таки выполняет, как и LLM выполняют некоторые специфически антропные функции. Но оно, как и LLM – мёртвое. А мы же тут всё-таки про “технотропную ДНК” – минимальный самодостаточный фрагмент живой системы.

Покажем ещё на некоторых примерах. Однако предварительно заметим, что указанные ниже значения приводятся приближённо и сугубо в качестве наглядной демонстрации общей идеи (то есть за цифры ниже – камнями не кидаться, так как в статье и без того с лихвой хватит поводов).

  • Биологическая ДНК. Человеческий организм содержит ДНК как информационное семя. Размер семени (геном): C-min ≈ 6 × 10^9 бит (несжатая). Размер системы (организм): S ≈ 10^25 – 10^27 бит (оценка по нейронам [13]). Соотношение: α ∼ 10^-16 – 10^-18. Конечно, эта аналогия имеет ограничения. ДНК (C-min) не может восстановить организм в вакууме. Для этого требуется сложнейшая среда выполнения E – клеточный аппарат (рибосомы, ферменты) и внешняя среда (матка). Тем не менее, аналогия корректно иллюстрирует масштаб информационного сжатия

  • Ботаническая аналогия: семя растения. Прорастание дуба из желудя: α = (инф. объём желудя) / (инф. объём дуба) ≈ 10^-9. Здесь R(S) – это всхожесть семян, которая для здоровых популяций может превышать 0.8-0.9

  • Космологическая аналогия: сингулярность. Предполагается, что Вселенная возникла из состояния с минимальной энтропией и максимальной плотностью информации [14]. Инфляционная модель демонстрирует эмерджентное рождение сложных структур из минимального начального состояния. Эта аналогия подчеркивает универсальность принципа «развёртывания» сложного из простого

Добавим, что с философской точки зрения [15] все вышеприведённые примеры являют собой реализацию Аристотелевской энтелехии [16] – внутреннего жизненного потенциала системы.

Какие проблемы?

Разумеется, практическая реализация подобных (технотропных) систем сопряжена с некоторыми сложностями.

  • Парадокс [17] минимализма. Некорректное сжатие C-min может вести к потере функциональности или увеличению сложности среды E. Очевидно, что здесь проблема именно архитектурного плана

  • Эволюционная нестабильность. Неконтролируемые мутации в C-min могут приводить к генетическому дрейфу и деградации [18]. Но данный аспект интуитивно представляется естественным для любой формы жизни

  • Проблема среды. Формальное определение и измерение сложности среды E является самостоятельной сложной задачей. Эта проблема приближённо может быть решена редукцией сложности к сочетанию 2-х параметров: объёма информации системы и её функциональных возможностей

  • Вычислительная сложность. Практическая оценка R(S) может потребовать комплексного тестирования – нужны эффективные статистические методы. Однако приближение достижимо тем же способом, что и в предыдущем случае

То есть, как можно заметить, ограничения и вызовы – ровно те же самые, что и у процесса воспроизводства биологических особей. Ну и конечно, это далеко не всё.

Что по итогу?

Сформулированный тут нами технотропный критерий предлагает некий спин-офф в разработке AI. Он предоставляет:

  • измеримую метрику жизнеспособности через вектор V(S) = (α, R, τ, E)

  • биоинспирированную дорожную карту к ASI (ну, в той версии ASI, которая тут описана, конечно), основанную на принципах регенерации и автономии

  • четкие архитектурные ориентиры (фрактальность, рекурсия, минимизация зависимости от среды)

  • единую систему оценки витальности для “субъектов” биологической и небиологической природы (что само по себе уже прикольно).

И чтобы было уж совсем понятно, представим, что мы обучили модель в соответствии с предложенными тут методологическими посылами, а затем “запихнули” её, к примеру, в SWE-bench. Ну, так эта модель – само собой разумеется – даже не поймёт, чего от неё хотят. По крайней мере по началу. И это совершенно логично [19].

Ну, и это потому, что под такую модель нужен совсем другой не просто бенчмарк, а сам принцип формирования бенчмарка.

С другой стороны, тоже в качестве примера, скачайте себе GGUF любой опенсорсной модели в любом квантовании, затем удалите половину файла и попробуйте запустить модель любым способом (Ollama, LM Studio, просто в Python-скрипте – как угодно) и для любой простенькой задачи. Ну, и что вы получите по итогу? А ничего не получится – оно так не работает. Да, не работает.

А вот модель, спроектированная в соответствии с описанными тут нами методологическими директивами, в таких условиях не просто должна работать, а должна “нарастить” себе обратно удалённый фрагмент и продолжить работу на уровне не худшем, чем до этого самого фрагмента удаления.

Метафорически же разницу между, скажем так, обычной LLM и технотропной моделью можно определить как разницу между ребёнком и калькулятором: первый, в отличие от второго, может ещё не уметь осуществлять даже простейшие арифметические операции, однако потенциал первого к решению задач в общем случае – качественно превосходит потенциал второго. Успешность решения конкретной задачи не доказывает, что модель “живая”. А вот предложенный критерий измеряет именно эту фундаментальную жизнеспособность.

Если же говорить прямо про практические аспекты, то я тут сделал некоторый набросок подобной технотропной модели для Colab. Мне это пока что даже стыдно показывать…но наверное это всё же лучше [20], чем вообще ничего. Заранее – там ни разу не ASI, а просто хоть какая-то практическая демонстрация самовосстанавливающейся системы. Там всё работает (у меня работало), но логи и картинки я не пушил.

Итак! Мы тут оформили противопоставление утилитарного («насколько хорошо модель решает задачу?») и онтологического («насколько модель живая?»). Конечно, это вот самое онтологическое ты в LangChain не встроишь, через RAGAS не оценишь и вряд ли продашь по подписке или через API. Тогда зачем вообще такая модель нужна? Ну…а мы зачем нужны? Господь же не думал, вот значит и мы не должны.

Ну, как-то так, наверное. Если что, то вот мой тг-канал [21].

Автор: ASI_PHILOSOPH

Источник [22]


Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/30244

URLs in this post:

[1] Симондоновском: https://monoskop.org/Gilbert_Simondon

[2] тут: https://habr.com/ru/articles/904596/

[3] тут: https://habr.com/ru/articles/906660/

[4] говорил об этом Ян Лекун: https://nilkanthahire.medium.com/llms-are-basically-obsolete-why-ai-pioneer-yann-lecun-thinks-the-real-ai-revolution-hasnt-16112d9d0809

[5] выражал: https://www.yahoo.com/news/want-ai-researcher-being-contrarian-095901237.html?guccounter=1

[6] интеллекта: http://www.braintools.ru/article/7605

[7] AGI Benchmark: https://arcprize.org/arc-agi

[8] Колмогоровской сложности: https://www.iacr.org/books/2015_sp_Li_Kolmogorov.pdf

[9] автопоэзис по Матуране и Вареле: https://monoskop.org/images/3/35/Maturana_Humberto_Varela_Francisco_Autopoiesis_and_Congition_The_Realization_of_the_Living.pdf

[10] переходная: https://www.nietzsche.ru/works/main-works/zaratustra/runkovich/

[11] Liquid Neural Networks: https://arxiv.org/abs/2006.04439

[12] эволюционное слияние моделей: https://sakana.ai/evolutionary-model-merge/

[13] нейронам: http://www.braintools.ru/article/6020

[14] Вселенная возникла из состояния с минимальной энтропией и максимальной плотностью информации: https://archive.org/details/inflationaryuniv0000guth

[15] зрения: http://www.braintools.ru/article/6238

[16] Аристотелевской энтелехии: https://iphlib.ru/library/collection/newphilenc/document/HASH0194d86f3ba748084f864994

[17] Парадокс: http://www.braintools.ru/article/8221

[18] генетическому дрейфу и деградации: https://www.nature.com/articles/217624a0

[19] логично: http://www.braintools.ru/article/7640

[20] это всё же лучше: https://github.com/Sett11/TSRO

[21] тг-канал: https://t.me/evil_philosoph

[22] Источник: https://habr.com/ru/articles/1035190/?utm_campaign=1035190&utm_source=habrahabr&utm_medium=rss

www.BrainTools.ru

Rambler's Top100