Мы (человечество) очень хотим создать разум. Инопланетян мы пока не нашли, поэтому пытаемся собрать его сами из кремния и электричества. Но то, куда свернула индустрия сегодня, вызывает вопросы. Мы греем планету мегаваттами энергии, перемножая гигантские матрицы в дата-центрах, чтобы обучить LLM. Backpropagation и современный инференс – это непозволительно дорого и энергозатратно.
А что если вернуться к истокам? Что если интеллект — это не градиентный спуск, а кристаллизация связей под давлением информации?
В этой статье я расскажу о концепте Термодинамического Мозга. Это самоорганизующийся граф, который обучается в один проход O(1), непрерывно адаптируется к новым данным, спит по ночам, чтобы не сойти с ума, и настолько нетребователен к ресурсам, что его можно запустить хоть во вкладке браузера, хоть на Arduino.
Что это такое (в двух словах)
Глобально — это направленный граф состояний. Обучение в нем происходит просто по мере «чтения» текста.
Например, мы читаем слово «т-е-к-с-т». Алгоритм переходит из узла «т» в узел «е», из «е» в «к» и так далее. Узлы — это состояния, а переходы между ними имеют Температуру.
-
Чем чаще мы переходим по конкретной связи, тем «горячее» она становится (энергия накапливается).
-
Когда связь перегревается (паттерн становится железобетонным), происходит Митоз — узел расширяется, вбирая в себя дополнительный контекст. Граф растет вглубь.
Время от времени мозг спит. Он спавнится в случайных узлах и начинает бродить по самым горячим переходам (ему снятся сны). Это нужно, чтобы находить зацикливания, принудительно их разбивать и забывать (удалять) связи, которые давно остыли.
Зачем это нужно?
-
Экологичность и локальность. Нам нужен ИИ, который не требует GPU-ферм. Этот мозг обучается прямо на лету, на устройстве пользователя. Он никогда не переобучается с нуля – он просто меняет топологию связей.
-
Управление роботами (Real-time). В робототехнике нам нужен инференс за микросекунды. В нашем графе поиск следующего действия — это O(1), просто переход по ссылке в памяти.
-
Агентность. Если на выходные (базовые) узлы графа повесить не буквы текста, а команды моторов (вперед, назад, захват), этот граф станет полностью агентным. Он сможет сам искать для себя датасеты, исследуя мир, избегать боли (остывание) и стремиться к цели (нагрев).
P.S. На данный момент архитектура идеально работает с детерминированными (точными) паттернами.
Как это работает: Анатомия графа
Давайте залезем под капот. В основе лежат четыре принципа.
1. Термодинамика (Энергия и Энтропия)
Вместо того чтобы хранить вероятности, мы храним интенсивность опыта. Каждый переход по связи прибавляет ей +1 к температуре. Но каждую миллисекунду все связи в графе понемногу остывают. Горячая связь — это магистраль, достоверное правило. Холодная — шум или опечатка. Чтобы не пересчитывать весь граф каждый такт, мы используем «ленивое» вычисление температуры (обновляем её по формуле затухания только тогда, когда наступаем на связь).
2. Митоз (Превращение хаоса в структуру)
Представьте базовый узел буквы «Т». После нее в тексте может идти всё что угодно: «а», «о», «р». Энтропия огромна.
Мы начинаем читать текст, и связь Т -> А раскаляется. Мозг понимает: этот паттерн слишком важен. Происходит Митоз.
Узел «А» отпочковывает от себя специалиста — узел «А, но только после Т». Теперь, когда алгоритм видит «Т», он прыгает не в общую свалку буквы «А», а в этот глубокий контекст. Если внутри него раскалится связь к «Р», появится узел «Р после ТА».
Граф не склеивает строки, он удлиняет пути, превращая стохастику в детерминированные рельсы.
3. Сон и Забывание
Мозг, который помнит всё — болен. Во сне алгоритм бродит по своим нейронным путям. Если связь остыла ниже критического минимума, она безжалостно удаляется. Память освобождается для новых гипотез. Если во сне алгоритм находит бесконечный цикл (A -> B -> A -> B), он принудительно вызывает митоз, чтобы вырваться из логической петли.
4. Защитный рефлекс (Вытеснение)
Так как мы ограничены RAM, у графа есть инстинкт самосохранения. Если лимит связей (допустим, 50 миллионов) исчерпан, мозг начинает стрессовать: порог забывания резко растет, и он начинает удалять даже «теплые» связи, жертвуя маловажным ради сохранения фундаментального опыта.
Реализация и Демо
Написать это на ООП (new Node()) было ошибкой – браузерный Garbage Collector умирал на первом миллионе объектов. Пришлось переписать ядро на жесткий Data-Oriented Design (DOD).
Весь граф теперь – это несколько гигантских плоских бинарных массивов. Связи реализованы как связные списки внутри монолитного пула памяти. Результат? Браузер легко держит десятки миллионов узлов, поглощая текст на скорости тысяч символов в секунду без единого лага.
https://schoolscience.org/tbrain/ – попробовать термодинамический мозг можно здесь
код – https://github.com/mozg4D/t-brin/tree/main
*В данный момент работает на процессоре на одном потоке, рекомендую загружать датасеты до 1 гб. Это proof of concept – он очень глупый
|
Параметр |
Современные LLM (Transformers) |
Термодинамический Мозг |
|
Сложность обучения |
O(N^2) и выше (эпохи, градиенты) |
O(1) обучение в один проход «на лету» |
|
Инференс |
Тяжелые вычисления (матрицы) |
Прямой переход по ссылке в памяти |
|
Железо |
Кластеры NVIDIA H100 / A100 |
Браузер, смартфон, Arduino |
|
Дообучение |
Дорогое Fine-tuning / RAG |
Постоянное, бесшовное «поедание» текста |
|
Прозрачность |
«Черный ящик» с весами |
Визуальный граф горячих/холодных связей |
|
Память |
Статическое контекстное окно |
Динамический «митоз» (глубина не ограничена) |
|
Экология |
Греет планету мегаваттами |
Спит по ночам, потребляет копейки |
Зачем я это пишу?
Я — всего лишь один человек. У меня есть основная работа, проекты, и лишь иногда я могу отвлечься «по фану» на проектирование мозгов для терминатора. А вас – много) Так что читайте, забирайте код, ломайте его, критикуйте и развивайте.
Мне кажется, что если мы хотим получить настоящий AGI или хотя бы автономных роботов, способных учиться на ходу, нам нужно перестать греть планету видеокартами и поискать более элегантные, «биологические» пути вычисления смыслов.
Автор: mozg4d
