Меня зовут Кирилл Пшинник, я научный сотрудник Университета Иннополис и CEO Онлайн-Университета «Зерокодер», а также автор книги «Искусственный интеллект: путь к новому миру». Как можно понять, я интересуюсь нейросетями и разными сторонами их использования: читаю новости, научные работы, пишу статьи сам.
Сегодня я хочу рассказать о японском стартапе Sakana AI, который изобрел open-source фреймворк TreeQuest. Он позволяет использовать сразу несколько разных больших языковых моделей для того, чтобы получить более точный результат.
Но начну я с голубей.
Коллективный разум голубей-онкологов
Оказывается, голуби могут отличать злокачественные опухоли от доброкачественных. Причем делают это с высокой точностью и даже в команде — и в команде, что характерно, им это удается лучше.
Исследование провела команда из Университета штата Айова. В роли подопытных — обычные сизые голуби, привычные всем нам жители улиц и голубятен. Им показывали гистологические срезы и маммограммы, а правильный ответ (рак или нет) подкрепляли едой — классическое оперантное обучение, только без слов, разметки и объяснений.
Через некоторое время отдельные птицы начали демонстрировать стабильную точность в 80–85% на новых изображениях. Более того, они обобщали знания — могли переносить навык на незнакомые снимки, не виденные во время обучения.
Однако ключевая находка ученых заключается в том, что групповая точность оказалась существенно выше индивидуальной.
Метод назвали flock-sourcing: если хотя бы несколько голубей в команде из четырех считали снимок злокачественным, система принимала это за сигнал «рак». Совместная точность взлетела до 99%, что существенно выше, чем у любого отдельного участника эксперимента (в среднем 0.73–0.85). Единственная зона, где птицы уступали, — это особо сложные маммограммы с тонкими массами, на которых даже опытные радиологи часто ошибаются.
Факт, что группа «неспециалистов» показывает результат, сравнимый с профессионалами, пусть и в узком сценарии — сам по себе интересен. Но еще важнее то, что коллективная перцепция (своеобразное «усредненное мнение») может использоваться в реальных задачах.
Например:
-
для оценки качества медицинских изображений,
-
как вспомогательный фильтр при тестировании систем визуализации,
-
или даже как аналог голосования в ансамблях нейросетей.
Исследование с голубями было первым из серии. Но спустя годы появились и работы, где коллективная точность используется уже в мире машинного обучения — с похожими результатами. А это наводит на мысли: возможно, нам стоит внимательнее присматриваться не только к архитектурам и метрикам, но и к «поведению в стае».
Ансамблевое обучение
Ensemble learning, или ансамблевое обучение, — это подход в машинном обучении, при котором несколько моделей объединяются, чтобы получить более точный и устойчивый результат, чем каждая из них по отдельности. Принцип тот же, что и с голубями: групповое мнение надежнее индивидуального.
Как это работает на практике? Есть несколько методов.
1. Бэггинг (bagging), при котором модели обучаются независимо на разных подвыборках данных. Классический пример — Random Forest: это много деревьев решений, каждое обучено на случайной части данных. Итоговый ответ — голосование (классификация) или усреднение (регрессия).
2. Бустинг (boosting) — модели обучаются последовательно: каждая новая старается исправить ошибки предыдущей. Самый известный пример — XGBoost или CatBoost. Здесь слабые модели (обычно деревья) «усиливают» друг друга.
3. Стекинг (stacking) — модели обучаются параллельно, а сверху добавляется мета-модель, которая учится на их выходах. Например: логистическая регрессия объединяет результаты SVM, дерева и нейросети.
Ансамбли работают, потому что разные модели совершают разные ошибки, эти самые ошибки сглаживаются при объединении, а сильные стороны отдельных моделей дополняют друг друга.
Это похоже на голосование экспертов: один может ошибиться, но если большинство согласно — итог будет надежнее.
TreeQuest: как модели перестали конкурировать и начали работать вместе
Именно механизм ансамблевого обучения решил использовать стартап Sakana AI из Японии. Тогда как большинство разработчиков LLM заняты примерно одним: сделать одну большую модель, которая умеет все — быстрее, точнее, глубже, Sakana AI предлагает другой подход: не соревноваться, а кооперироваться.
Они разработали алгоритм Adaptive Branching Monte Carlo Tree Search (AB‑MCTS), который позволяет нескольким крупным языковым моделям решать задачи совместно — как команда, где каждый агент вносит вклад. Этот алгоритм лежит в основе TreeQuest — нового open-source фреймворка, уже доступного под Apache 2.0.
Sakana AI считает, что у каждой LLM свои сильные стороны: одна лучше логически структурирует, другая — генерирует текст, третья — делает качественные обобщения. Вместо того чтобы пытаться создать единую «идеальную» модель, в TreeQuest задействуются разные LLM одновременно, как агенты в общем поиске решений.
Идеология проста: «Мы воспринимаем уникальные особенности каждой модели не как ограничения, а как ресурсы для формирования коллективного интеллекта».
Ключ — в том, на каком этапе объединяются модели. Здесь речь не о fine-tuning или pretraining, а о выводе (inference). Алгоритм AB‑MCTS организует поиск так:
-
одни агенты углубляют текущие гипотезы (поиск вглубь),
-
другие предлагают альтернативы (поиск вширь),
-
все это — с учетом предыдущих ответов, как в дереве решений.
Получается итеративный перебор вариантов с обратной связью между моделями. Каждая из них может использовать ответы других как подсказку и «догадать» решение.
Что показывает практика
TreeQuest протестировали на ARC‑AGI‑2 — бенчмарке для оценки «обобщающего интеллекта». Вариант с тремя моделями (o4‑mini + Gemini 2.5 Pro + DeepSeek‑R1‑0528) решил свыше 30% задач, в то время как одиночный o4‑mini справился только с 23%.
Интересные выводы:
-
o4‑mini ошибается,
-
DeepSeek и Gemini используют эту ошибку как частичную подсказку,
-
результат — корректное решение через пару итераций.
То есть неправильный ответ одной модели может стать топливом для правильного вывода у другой.
TreeQuest рассчитан на задачи, где нужно поэтапное, многошаговое решение, особенно в условиях ограниченного количества вызовов к API моделей. Примеры: автоматическая генерация и рефакторинг кода, улучшение точности ML-моделей через повторную интерпретацию данных, снижение галлюцинаций в генеративных системах, оптимизация вычислительных сервисов и пайплайнов.
Все это можно подключать через открытый API, с поддержкой кастомных метрик качества решений.
Интересная параллель: все это напоминает эксперименты с голубями, где стая определяла диагноз точнее, чем отдельные птицы. Здесь — та же история, но вместо голубей: ChatGPT, Gemini и DeepSeek.
Grok4 Heavy: как устроена «учебная группа» из нейросетей
Пока индустрия соревнуется в создании мощных универсальных моделей, в компании Илона МАска xAI решили пойти другим путем. Недавно они представили Grok4 Heavy — архитектуру, в которой нейросети работают не в одиночку, а кооперативно, как студенты, готовящиеся к экзамену в группе.
Результаты — впечатляющие: модель превзошла не только базовую Grok4, но и флагманские решения от OpenAI и Google на ряде бенчмарков. Но дело тут не просто в мощности, а в архитектурной идее, которая ближе к коллективному разуму, чем к классическому inference.
Grok4 Heavy запускает несколько агентов параллельно. Каждый решает задачу самостоятельно, без знания о подходах остальных. А затем начинается самое интересное:
-
агенты сравнивают свои выводы;
-
обмениваются идеями;
-
и коллективно формируют итоговый ответ.
Важно: это не просто голосование по большинству. Иногда только один агент находит правильный путь и объясняет его остальным. Это делает финальное решение не просто усредненным, а прошедшим внутреннюю интерпретацию и проверку.
По сути, Grok4 Heavy реализует механизм коллективной интерпретации: каждая модель дает свою версию решения, но итоговая версия — это результат диалога между ними.
Такая архитектура требует существенно больше вычислений на этапе вывода по сравнению с обычным запуском одной модели. Но xAI делает ставку на то, что качество важнее стоимости запроса, особенно в задачах, где цена ошибки высока: медицина, наука, робототехника.
С учетом того, что затраты на ИИ все ближе к стоимости электроэнергии, ставка выглядит оправданной.
Коллективные ИИ: новая парадигма
Grok4 Heavy и TreeQuest от Sakana AI — разные реализации одной идеи: отказ от одиночной «супермодели» в пользу взаимодействующей команды агентов.
В первом случае — координация внутри архитектуры, во втором — между разными внешними моделями (например, o4-mini, Gemini и DeepSeek).
Но вывод один: многоголовый интеллект работает. Причем в ряде задач он обходит одиночные модели, даже если каждая из них сильна сама по себе.
Такой подход открывает перспективы для гибких ИИ-систем, в которых:
-
разные модели специализируются на своих задачах: код, визуальный анализ, логика, язык;
-
они взаимодействуют, подсказывают и «проверяют» друг друга;
-
возникает новый тип надежности и адаптивности, особенно в нестабильных или междисциплинарных задачах.
На практике это может привести к архитектурам, где сложные инженерные задачи решаются «советом» моделей, автоматизированные ассистенты могут пересматривать свои же гипотезы и менять мнение, важные решения проходят не одну, а серии фильтраций и переосмыслений.
Пример с голубями, TreeQuest и Grok4 Heavy показывает: коллективный интеллект — не метафора, а рабочий технический механизм. Мы только начали его использовать в ИИ, но уже видим рост точности, устойчивости и контекстной гибкости.
Следующий шаг, судя по всему, — не создание еще одной «самой большой модели», а формирование среды, где разные модели могут учиться друг у друга. Как в природе у некоторых видов: выживает не тот, кто сильнее, а тот, кто способен работать в команде.
Автор: kpshinnik
