Команда учёных провела масштабный анализ 171 485 «трасс рассуждений» (reasoning traces) от 17 открытых моделей ИИ, а также сравнила их с набором из 54 решений, сделанных людьми – от математики и задач по проверке ошибок до сложных политических и медицинских дилемм.
В результате выяснилось, что на структурированных задачах (например, классические математические примеры) ИИ использует относительно разнообразные умственные приёмы – комбинирует простые понятия, разбивает проблему на части, проверяет шаг за шагом. Но как только задача становится неоднозначной, открытой или требует абстрактного мышления – модели резко начинают использовать линейные, пошаговые вычисления, простые проверки правдоподобия и перестают проявлять гибкость.
У людей же в таких ситуациях доминирует метакогнитивный подход. Они меняют стратегии, используют абстракции, строят причинно‑следственные цепочки, пересматривают промежуточные шаги, настроены на самоанализ и адаптацию. Именно такие глубокие паттерны коррелируют с успешным решением сложных задач.
Учёные считают, что нынешние методы тестирования ИИ, когда оценивают только итоговый ответ, дают ложное впечатление о настоящем мышлении моделей. Новый фреймворк с 28 когнитивными компонентами показывает: ИИ всё ещё часто просто подбирает знакомые шаблоны, а не настоящим образом рассуждает.
Интересно, что при специальной подсказке, когда системе дают структуру: сначала собрать факты, потом структурировать, потом сделать вывод – сильные модели (например, Qwen‑, Llama‑ и Qwen‑Distill‑семейства) иногда прибавляют в точности до +60 % на задачах с открытым контекстом, но слабые модели часто падают в производительности.
Авторы подчёркивают, что мы всё ещё далеко от того, чтобы ИИ рассуждал так, как человек. Но новая карта когнитивных механизмов и трасс рассуждений – важный инструмент, чтобы создать следующее поколение моделей, где рассуждение строится не по шаблонам, а по принципам.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Автор: cognitronn
