Учёные раскрыли слабые места ИИ: почему модели всё ещё не думают как люди

Команда учёных провела масштабный анализ ^[1]171 485 «трасс рассуждений» (reasoning traces) от 17 открытых моделей ИИ, а также сравнила их с набором из 54 решений, сделанных людьми – от математики ^[2] и задач по проверке ошибок до сложных политических и медицинских дилемм.

В результате выяснилось, что на структурированных задачах (например, классические математические примеры) ИИ использует относительно разнообразные умственные приёмы – комбинирует простые понятия, разбивает проблему на части, проверяет шаг за шагом. Но как только задача становится неоднозначной, открытой или требует абстрактного мышления ^[3] – модели резко начинают использовать линейные, пошаговые вычисления, простые проверки правдоподобия и перестают проявлять гибкость.

У людей же в таких ситуациях доминирует метакогнитивный подход. Они меняют стратегии, используют абстракции, строят причинно‑следственные цепочки, пересматривают промежуточные шаги, настроены на самоанализ и адаптацию. Именно такие глубокие паттерны коррелируют с успешным решением сложных задач.

Учёные считают, что нынешние методы тестирования ИИ, когда оценивают только итоговый ответ, дают ложное впечатление ^[4] о настоящем мышлении моделей. Новый фреймворк с 28 когнитивными компонентами показывает: ИИ всё ещё часто просто подбирает знакомые шаблоны, а не настоящим образом рассуждает.

Интересно, что при специальной подсказке, когда системе дают структуру: сначала собрать факты, потом структурировать, потом сделать вывод – сильные модели (например, Qwen‑, Llama‑ и Qwen‑Distill‑семейства) иногда прибавляют в точности до +60 % на задачах с открытым контекстом, но слабые модели часто падают в производительности.

Авторы подчёркивают, что мы всё ещё далеко от того, чтобы ИИ рассуждал так, как человек. Но новая карта когнитивных механизмов и трасс рассуждений – важный инструмент, чтобы создать следующее поколение моделей, где рассуждение строится не по шаблонам, а по принципам.

Делегируйте часть рутинных задач вместе с BotHub! ^[5] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[6] вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Источник ^[7]