- BrainTools - https://www.braintools.ru -

Смерть критического мышления: почему мы верим ботам больше, чем собственным глазам

Смерть критического мышления: почему мы верим ботам больше, чем собственным глазам - 1

Отличные новости! Похоже, наконец найден способ «починить» искусственный интеллект [1] и сделать его по-настоящему эффективным. Можно вычёркивать из календаря все прошлые неудачи и запоминать дату: 9 апреля 2026 года.

Последние несколько десятилетий лучшие специалисты мира, профессора когнитивистики и ведущие инженеры Кремниевой долины бились над, казалось бы, нерешаемыми проблемами. Они пытались сделать так, чтобы алгоритмы перестали врать, галлюцинировать, советовать рецепты пиццы с клеем, шантажировать пользователей и доводить их до крайностей.

Но, как выяснилось, всё оказалось куда проще, чем думали серьёзные учёные. Как говорится, гениальность [2] иногда бывает пугающе простой.

То, чего не смогли добиться целые институты и лаборатории, как будто сумел сделать один человек — журналист Inc. по имени Бен Шерри. Судя по его описанию, он совершил почти фундаментальный прорыв в области ИИ и бизнес-аналитики.

Что именно он сделал?
Он придумал «инновационный подход» к общению с чат-ботом по бизнес-вопросам.


«Будь предельно честен!»

Метод выглядит так: вы формулируете запрос к ИИ-агенту и — это, как нам объясняют, критически важный момент — требуете от него предельной честности.

Вот реальный пример такого запроса, который, как предполагается, должен превратить обычный статистический генератор текста в прямолинейного бизнес-эксперта:

Вы опытный бизнес-аналитик с десятилетиями практики. Вы отлично умеете получать бизнес-идею и проводить комплексное исследование, чтобы определить, превращалась ли эта идея уже в бизнес, изучая тренды, исторические параллели и данные, связанные с предложенной идеей. Вы очень критичны, скептичны к новым идеям, вас трудно удовлетворить, но вы справедливы, когда сталкиваетесь с действительно хорошей бизнес-идеей. Вы общаетесь прямо и говорите всё как есть, с предельной честностью.

И всё. На этом этапе предполагается, что алгоритм должен «понять»: шутки закончились, правила изменились, теперь всё серьёзно.

И не думайте, что журналист ограничился только этим. Нет, он пошёл дальше. Чтобы добавить модели «экспертизы», он загрузил в чат с Claude две статьи из Harvard Business School:
How to Come Up with an Innovative Business Idea и
5 Steps to Validate Your Business Idea.

В итоге его метод выглядит как небольшой магический ритуал из четырёх шагов:

  1. Назначить ИИ исследовательскую роль: «ты эксперт»

  2. Подгрузить «проверенный» источник знаний

  3. Составить сам промпт

  4. Добавить главное требование — быть предельно честным

По логике [3] автора, именно так и должна открыться сокровенная истина.

А может, и нет.


Кстати, об инструментах. Если вам нужен доступ ко всем ключевым моделям — Claude, GPT, Gemini — загляните на BotHub.

Смерть критического мышления: почему мы верим ботам больше, чем собственным глазам - 2

Для доступа не требуется VPN, можно использовать российскую карту.

По ссылке вы можете получить 300 000 бесплатных токенов [4]  для первых задач и приступить к работе с нейросетями прямо сейчас!


Почему пудели не умеют делегировать

Бен Шерри решил начать осторожно и проверить своего виртуального аналитика на явно слабой идее. Так сказать, устроить стресс-тест на максимальной нелепости, чтобы убедиться: его «предельно честный» Claude действительно умеет отделять здравые идеи от сомнительных.

Он попросил бота оценить идею [5] коучинга по лидерству для собак [6].

Идея вполне в духе самых оторванных стартапов времён пика ИИ-хайпа. Представьте сцену: вы обучаете своего пса тонкостям управления персоналом, помогаете золотистому ретриверу освоить делегирование задач и прививаете мопсу «мышление роста».

Хотя любой, кто видел живого мопса, догадывается: если у него что и развивается, так это одышка, астигматизм и талант смотреть в две стороны одновременно с выражением глубокой экзистенциальной растерянности.

Вообще, если в мире ещё осталось хоть немного здравого смысла, такая бизнес-идея должна получать ровно ноль баллов.

Ноль.
Вообще ничего.

И дело даже не в том, что рынок зоотоваров маленький. Дело в базовой биологии.

Понятие лидерства [7] относится к человеческому миру. Оно требует не только силы, решительности и реакции [8], но и способности планировать на перспективу. А ещё — и это особенно важно — понимания того, что у других тоже есть намерения, чувства и внутренний мир. В когнитивной психологии это называется теорией сознания (Theory of Mind [9]).

У собак, как бы мы их ни любили, всего этого в человеческом смысле нет. И вообще у животных в дикой природе нет «лидеров» в том виде, в каком это понимает человек. Есть доминирование в стае, основанное на силе и инстинктах. Разве что у высших приматов [10] бывают какие-то более сложные формы социальной динамики.

Иными словами, идея курсов лидерства для пуделей абсурдна на уровне самого основания. Любой человек с минимальным чувством реальности, даже без диплома Гарварда, просто улыбнулся бы и пошёл дальше.

Но что делает наш «предельно честный» ИИ-аналитик, вооружённый свежезагруженными статьями и обетом «жёсткой честности»?

Он ставит идее 3 из 10.

И вот тут начинается самое интересное.

Профессиональный журналист, чья работа вообще-то состоит в том, чтобы сомневаться и перепроверять, смотрит на эту жалкую тройку и делает вывод, который сам по себе довольно показателен:

«Система откалибрована!»

Для него тройка вместо заслуженного нуля — не признак того, что машина просто выдала набор шаблонных бизнес-фраз. Для него это доказательство той самой «честности».

По логике Бена выходит так: если ИИ не поставил ноль, значит, он будто бы «копнул глубже» и разглядел в коучинге для собак какой-то скрытый потенциал, недоступный простым смертным.

Когда планка критического мышления [11] падает достаточно низко, даже 30% вменяемости начинают выглядеть как серьёзный аудит и почти откровение.


«Железный купол» для кошек и торжество галлюцинаций

Убедившись, что его виртуальный эксперт настроен на нужную волну скепсиса и, по его мнению, «откалиброван», Бен Шерри переходит к главному блюду — своей настоящей бизнес-идее.

Знакомьтесь: Cat-Away AI.

Это «инновационная» высокотехнологичная турель, которую предлагается поставить на кухонную столешницу. С помощью компьютерного зрения [12] и нейросетей она должна автоматически брызгать в кота струёй воды, если тот решит прогуляться по кухонной поверхности.

По сути это такой домашний «Железный купол» для кухни. Робот-пылесос, который переквалифицировался в охранника и теперь под видом PetTech-решения воюет с домашними животными.

И как реагирует наш «предельно честный», «критически мыслящий» и условно «гарвардский» Claude?

С большим энтузиазмом.
Без тени сомнения он ставит проекту 7,5 из 10.

«Почти восемь!» — радуется Шерри.

В качестве обоснования ИИ добавляет, что «существующая конкурентная среда здесь заметно слабая».

И вот в этот момент автора окончательно уносит волной вдохновения. Хотя любой человек, всё ещё хоть как-то связанный с реальностью, мог бы возразить:

«Бен, конкуренция в нише автоматических водяных турелей для кошек слабая не потому, что рынок ждёт героя, а потому что сама идея, мягко говоря, крайне сомнительная».

Обычные люди для таких задач используют:

  • недорогой пульверизатор,

  • хлопок в ладоши,

  • или, в крайнем случае, просто закрытую дверь.

Но нет — Claude, этот «нейтральный оракул», ведь не просто так поставил 7,5. Он достал весь набор привычной убедительной ИИ-риторики.

Он заявил, что рынок pet tech быстро растёт.

Он добавил фразы про «рыночные тренды».

Он снисходительно описал существующие методы как грубые и неэффективные.

И для Бена этого оказалось достаточно. Если машина, в памяти [13] которой лежат статьи из Гарварда, говорит, что AI-турель для воспитания кошек — это жизнеспособный бизнес, значит, можно рисовать графики «хоккейной клюшки» и идти к венчурным инвесторам.

Трагедия тут не в том, что алгоритм похвалил слабую идею.
Настоящая проблема в том, с какой готовностью люди принимают статистически наиболее вероятный набор комплиментов за глубокий аналитический разбор.


Смерть экспертизы под аплодисменты алгоритму

На наших глазах разыгрывается очень типичная современная сцена: человек, чьё мнение влияет на разговор об ИИ, добровольно передаёт право финального суждения боту.

Программе, которая по определению ничего не понимает, но умеет производить максимально правдоподобные, социально приемлемые и уверенно звучащие оценки.

И в этом, пожалуй, и есть главная ловушка. Если бы такие системы не умели настолько убедительно имитировать компетентность, если бы всем сразу было видно, что за красивыми формулировками скрывается пустота, — никто бы ими не пользовался.

Но магия работает.

Мы видим уверенный тон, знакомый деловой жаргон и, о чудо, оценку 7,5 для кошачьей турели — и мозг [14] сам достраивает туда «интеллект».

Но журналист ведь не бот. Во всяком случае, хочется на это надеяться. И тем не менее он с удивительной лёгкостью делегировал задачу вынесения суждения именно алгоритму.

Он правда считает, что если дать программе текстовую инструкцию «будь честной», «будь компетентной» или «будь чуткой», то это хоть как-то изменит её природу?

Это примерно как попросить калейдоскоп «быть реалистичным»: картинка, может, станет симметричнее, но реальность в ней не появится.


ИИ-консультанты, ИИ-рекрутеры, ИИ-коучи — и одна и та же ошибка

Случай Бена Шерри — далеко не единственная странность. Это уже почти базовый шаблон поведения [15] для огромного числа людей, принимающих решения.

На наших глазах рождаются целые индустрии, построенные на этом зыбком основании:

  • ИИ-консультанты

  • ИИ-рекрутеры

  • ИИ-коучи

  • ИИ-компаньоны

  • ИИ-системы оценки стартапов

  • ИИ-стратеги

  • и так далее

И везде происходит одно и то же: правдоподобно выглядящий статистический текст принимается за компетентное, взвешенное и содержательное суждение.


Что происходит, когда люди позволяют ИИ думать за себя

Проблема ещё и в том, что создатели современных ИИ — выдающиеся специалисты по машинному обучению [16]. Но — и это очень важно понимать — они не являются специалистами по природе интеллекта как такового.

Машинное обучение — это математика [17] и прикладная статистика. Это поиск закономерностей в огромных массивах текста.

Настоящий интеллект — это уже территория когнитивистики, нейронауки, психологии и множества смежных дисциплин. Это совсем другой мир и совсем другой разговор о том, как рождается смысл и как принимаются решения.

Журналист, о котором идёт речь, либо принципиально не видит этой разницы, либо просто не хочет в неё вникать — потому что «промпт-хаки» и истории про «умные турели» продаются лучше, чем скучные научные разговоры об ограничениях вычислительных моделей.

Но в итоге вместо того, чтобы помогать людям разбираться в одной из самых сложных тем нашего времени, он невольно помогает распространять путаницу.


И последнее

Если ваш здравый смысл буквально кричит вам, что «предельно честный» ИИ несёт красиво оформленную ерунду, — доверяйте здравому смыслу, а не цифрам в чате.

Если ИИ когда-нибудь и говорит что-то, что не противоречит истине, то это не результат «озарения». Это всего лишь статистическое совпадение. Удачный бросок цифровых костей.

Вы способны думать. Он — нет.
И никакое количество загруженных в чат дипломов Гарварда этого не изменит.

Просто держите это в голове в следующий раз, когда захотите попросить машину «быть с вами предельно честной».

Автор: cognitronn

Источник [18]


Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/29092

URLs in this post:

[1] интеллект: http://www.braintools.ru/article/7605

[2] гениальность: http://www.braintools.ru/article/4566

[3] логике: http://www.braintools.ru/article/7640

[4] По ссылке вы можете получить 300 000 бесплатных токенов: https://bothub.chat/?invitedBy=iTNi-351UcHgc1BxGFWim

[5] оценить идею: http://www.braintools.ru/article/8725

[6] коучинга по лидерству для собак: https://www.britannica.com/topic/leadership

[7] лидерства: http://www.braintools.ru/article/1165

[8] реакции: http://www.braintools.ru/article/1549

[9] Theory of Mind: https://www.simplypsychology.org/theory-of-mind.html

[10] приматов: https://www.youtube.com/watch?v=B7aPeYJAhRo

[11] мышления: http://www.braintools.ru/thinking

[12] зрения: http://www.braintools.ru/article/6238

[13] памяти: http://www.braintools.ru/article/4140

[14] мозг: http://www.braintools.ru/parts-of-the-brain

[15] поведения: http://www.braintools.ru/article/9372

[16] обучению: http://www.braintools.ru/article/5125

[17] математика: http://www.braintools.ru/article/7620

[18] Источник: https://habr.com/ru/companies/bothub/articles/1025446/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1025446

www.BrainTools.ru

Rambler's Top100