ИИ-грамотность, доверие и цена доменной экспертизы

TL;DR

• ИИ-грамотность – это не промпт-инжиниринг: в 91% научных работ ее ядром называют способность критически оценивать результаты ИИ и этические аспекты его применения.

• Высокая ИИ-грамотность устойчиво связана с меньшей тревожностью, большим доверием и более активным использованием ИИ; возраст и пол роли практически не играют.

• Большинство шкал ИИ-грамотности построены на самооценке (self-assessment) и частично измеряют уверенность в себе ^[1], а не реальные знания; доменную экспертизу как отдельный фактор не учитывает ни одна из них.

• На профессиональных задачах модели прогрессируют, но остаются ненадежными: ~76% точности в онкологии, 58%+ галлюцинаций в юридических вопросах, неспособность надежно оценивать даже собственные результаты. Экспертный надзор обязателен.

• Делегирование агентам простых задач запускает притупление навыков (skill blunting), а вместе с практикой пересыхает источник той самой экспертизы, без которой невозможна оценка результата.

• Устойчивая конфигурация – «модель генерирует, человек оценивает». Отдавать ИИ стоит рутину, а не суждение.

Что такое ИИ-грамотность

На сегодняшний день как на уровне государств, так и на уровне частного бизнеса сложилось понимание важности ИИ-грамотности (AI literacy) как фактора внедрения ИИ в обучение ^[2] и профессиональную деятельность. Наиболее цитируемое определение звучит так: это набор компетенций, позволяющих человеку критически оценивать технологии ИИ, эффективно общаться и сотрудничать с ним, а также использовать его как инструмент в учебе, дома и на работе. Тренд подкрепляется и рынком труда: соискатели охотно рассказывают об опыте ^[3] взаимодействия с ИИ, а в вакансиях упоминание Cursor или Claude все чаще встречается в списке преимуществ.

Если разобрать это определение на составляющие, картина получается заметно шире, чем привычный нам промпт-инжиниринг. Систематические обзоры выделяют шесть ключевых конструктов: отличать технологии с ИИ от технологий без него (recognize), знать и понимать принципы его работы (know & understand), использовать и применять в задачах (use & apply), оценивать результаты (evaluate), создавать ИИ-решения (create) и ориентироваться в этических вопросах (navigate ethically). Показательно распределение внимания ^[4] исследователей: способность критически оценивать ИИ и этические аспекты встречаются в 91% работ, тогда как умение использовать – в 82%, а знание принципов работы – в 73%. То есть научное сообщество считает главным в ИИ-грамотности не навыки написания промптов, а критическую оценку того, что модель выдает.

Отдельный вопрос – как эту грамотность измерять. Существует не менее 16 опросников, и почти все они строятся на самооценке (self-assessment): человека просят согласиться или не согласиться с утверждениями вроде «я умею критически оценивать ответы ИИ». Проблема в том, что такие шкалы систематически показывают более сильные корреляции, чем объективные тесты знаний (performance-based), и подвержены метакогнитивным искажениям – от эффекта Даннинга-Крюгера, при котором новички переоценивают свои способности, до общей склонности видеть себя в более выгодном свете (self-enhancement bias). Иными словами, значительная часть измеряемой «ИИ-грамотности» может оказаться не грамотностью, а уверенностью в себе.

Доверие как механизм внедрения

Почему вообще грамотность должна влиять на внедрение технологии? Классический ответ дает Technology Acceptance Model: принятие технологии определяется воспринимаемой пользой (perceived usefulness) и простотой использования (perceived ease of use), которые формируют отношение к технологии (attitude), затем намерение ее использовать (behavioral intention) и, наконец, фактическое использование (actual use). Чем лучше человек понимает, как работает LLM, где ее сильные и слабые стороны, тем больше пользы он способен из нее извлечь и тем проще ему дается взаимодействие.

Эмпирика эту логику ^[5] в целом подтверждает – более высокая ИИ-грамотность устойчиво связана с меньшей тревожностью по поводу ИИ (AI anxiety), более позитивными установками (AI attitudes), большим доверием к технологии (trust), а также с намерением использовать ИИ (intention to use) и фактическим его использованием (AI usage). При этом демографические факторы – возраст, пол – с ИИ-грамотностью практически не связаны. Это хорошая новость для компаний: обучать взаимодействию с ИИ имеет смысл всех, а не только условных зумеров, и целиться нужно в знания и установки, а не в возрастные когорты.

Есть и более тонкие эффекты. У сотрудников с высокой ИИ-грамотностью использование ИИ повышает ощущение собственной компетентности (competence) и автономии (autonomy), что выливается в рост инновационного поведения ^[6] (innovative behavior) и готовности принимать решения в условиях неопределенности (willingness to take risks). Для университетских преподавателей ИИ-грамотность оказалась медиатором между рабочим стрессом ^[7] и выгоранием: те, кто умеет встраивать ИИ в рутинные процессы, разгружают себя и выгорают меньше. Но у этой медали есть оборотная сторона, о которой ниже: позитивный эффект наблюдается прежде всего там, где человек воспринимает ИИ как усиление собственных возможностей, а не как замену собственного суждения.

Оценка результата упирается в доменную экспертизу

Итак, ядро ИИ-грамотности – способность критически оценить то, что выдала модель. И здесь обнаруживается неудобный момент, который сами шкалы ИИ-грамотности старательно обходят: оценить результат в чужой предметной области невозможно. Ни один из существующих опросников не рассматривает доменные знания (domain knowledge) как отдельный, самостоятельно взвешиваемый фактор – при том что без них конструкт «оценивание» повисает в воздухе. Можно прекрасно понимать, что такое галлюцинации и как устроен трансформер, но не суметь отличить корректную юридическую ссылку от выдуманной.

А отличать есть что. Бенчмарки на реальных профессиональных задачах рисуют картину, далекую от маркетинговых обещаний. В онкологии LLM показывают общую точность около 76%, а диагностическую – 67%: авторы мета-анализа прямо пишут, что автоматизировать клинические решения нельзя и экспертный надзор остается обязательным. В юриспруденции публичные модели галлюцинируют минимум в 58% случаев, плохо предсказывают собственные ошибки ^[8] и некритично принимают ложные предпосылки в вопросах пользователей. Причем риски распределены неравномерно: сильнее всего страдают те, кто задает сложные вопросы, ошибается в исходных посылках и не знает, насколько можно доверять ответу. То есть максимальную цену за галлюцинации платят именно те, у кого нет доменной экспертизы – и кому LLM, казалось бы, нужнее всего.

При этом прогресс моделей отрицать бессмысленно. Медицинские лицензионные экзамены LLM в среднем сдают уже уверенно выше проходного порога. Математический бенчмарк FrontierMath, на котором в конце 2024 года лучшие модели решали менее 2% исследовательских задач, к середине 2026-го покорился на 87,8% – правда, уже в пересмотренной версии, что само по себе иллюстрирует, как быстро индустрия вынуждена перекраивать линейки для измерения. Но у этого прогресса есть характерный профиль. В эксперименте, где идеи LLM и идеи ученых-испытуемых вслепую оценивали эксперты, ИИ-идеи получили более высокие баллы за новизну, однако проигрывали в реализуемости: слишком расплывчатые детали реализации, некорректное использование датасетов, нереалистичные допущения. А попытка поручить оценку идей самой модели провалилась – LLM пока не способны надежно оценивать качество даже собственных результатов. Круг замыкается: генерировать модель может все больше, а финальная оценка по-прежнему остается за человеком с доменными знаниями.

Агенты и притупление навыков

Теперь посмотрим, что происходит, когда мы делегируем ИИ все больше. Постановку задач для LLM можно ранжировать по уровню абстракции: от «перепиши эту функцию» через «реализуй фичу» до «вот бэклог, разберись». На верхнем уровне человек превращается в оператора конвейера из агентов: результат зависит уже не столько от его профессиональных навыков, сколько от качества настройки конвейера. Именно этот образ нам и продают как ближайшее будущее – и именно здесь психологические исследования заставляют притормозить.

Во-первых, эффект делегирования зависит от сложности задач (job complexity). В работах со сложными, многошаговыми задачами ИИ действительно освобождает когнитивные ресурсы для творческих проблем и повышает самоэффективность (self-efficacy). Но в задачах низкой сложности эффект замещения запускает то, что исследователи называют притуплением навыков (skill blunting): человек перестает практиковать то, что за него делает модель, и его уверенность в собственных силах снижается. Парадокс ^[9] в том, что агентные конвейеры стремятся упаковать любую работу в набор простых, максимально абстрактно поставленных подзадач – то есть систематически переводят работу человека именно в ту зону, где притупление наиболее вероятно.

Во-вторых, многое решает установка самого человека. Сотрудники с выраженной ориентацией на обучение (learning goal orientation) воспринимают ИИ как инструмент усиления собственных способностей и извлекают из него максимум. Те же, кто такой ориентации лишен, видят в ИИ угрозу занятости, и их готовность к риску и развитию только падает. Проще говоря, одна и та же технология одних делает сильнее, а других – тревожнее и пассивнее, и водораздел проходит не по владению промптами, а по отношению к собственному профессиональному росту.

И здесь стоит вспомнить, откуда берется способность оценивать результат. Доменная экспертиза – это не только явные знания из учебников, но и неявные (tacit) знания, которые накапливаются через практику: тысячи просмотренных пул-реквестов, разобранных кейсов, наступаний на грабли. Если практику забирает агент, источник экспертизы пересыхает. Получается неприятная петля: мы делегируем ИИ работу, потому что доверяем ему; доверие требует способности оценивать результат; способность оценивать требует практики, которую мы только что делегировали. На горизонте одного проекта это незаметно, на горизонте карьеры – это вопрос о том, кто через десять лет будет тем самым экспертом, чей надзор мета-анализы называют обязательным.

Заключение

ИИ-грамотность оказывается не набором технических лайфхаков, а сложной конструкцией, в которой знания о технологии, установки по отношению к ней и профессиональная компетентность переплетены и взаимно поддерживают друг друга. Исследования единодушны в том, что центральный элемент этой конструкции – способность критически оценивать результат работы модели. И столь же единодушно ее измерительные инструменты игнорируют то, что эта способность не существует в отрыве от доменной экспертизы.

Бенчмарки на профессиональных задачах показывают быстрый прогресс моделей и одновременно устойчивый паттерн: впечатляющая генерация при ненадежной самооценке, приемлемая средняя точность при неприемлемой цене отдельных ошибок. Это означает, что связка «модель генерирует – человек оценивает» останется рабочей конфигурацией надолго. Но эта связка устойчива только до тех пор, пока человек сохраняет и практикует свою экспертизу.

Для компаний вывод практический: программы развития ИИ-грамотности, сведенные к обучению промптам и правилам информационной безопасности, целятся мимо. Доверие к ИИ растет вместе с пониманием технологии, но продуктивным его делает именно доменная компетентность сотрудников – и ее нужно не только требовать, но и оберегать, оставляя людям задачи, на которых экспертиза продолжает нарабатываться. Для самих работников вывод не менее конкретный: делегируя агенту практику, вы делегируете ему и собственное профессиональное будущее. Отдавать стоит рутину, а не суждение.

Больше мыслей про психологию и AI в Telegram‑канале ^[10] или сообществе в VK ^[11]. Спасибо за внимание!

Что почитать

• How AI literacy correlates with affective, behavioral, cognitive and contextual variables: A systematic review ^[12]

• Exploring attitudes toward ChatGPT among college students: An empirical analysis of cognitive, affective, and behavioral components using path analysis ^[13]

• Artificial intelligence literacy at school: A systematic review with a focus on psychological foundations ^[14]

• A systematic review of AI literacy conceptualization, constructs, and implementation and assessment efforts (2019–2023) ^[15]

• Exploring How AI Literacy and Self-Regulated Learning Relate to Student Writing Performance and Well-Being in Generative AI-Supported Higher Education ^[16]

• A systematic review of AI literacy scales ^[17]

• Beyond Fear and Feelings Toward Technological Singularity: Understanding Psychological Factors Shaping Attitudes Toward AI ^[18]

• Mediating and moderating roles of AI literacy: How it shapes the impacts of psychological resilience on work stress and job burnout among young university teachers in China ^[19]

• The Impact of AI Usage on Innovation Behavior at Work: The Moderating Role of Openness and Job Complexity ^[20]

• Trust the Machine or Trust Yourself: How AI Usage Reshapes Employee Self-Efficacy and Willingness to Take Risks ^[21]

• Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers ^[22]

• FrontierMath: a benchmark for evaluating advanced mathematical reasoning in AI ^[23]

• ARC-AGI-2: A New Challenge for Frontier AI Reasoning Systems ^[24]

• Large language model integrations in cancer decision-making: a systematic review and meta-analysis ^[25]

• Performance of ChatGPT and Large Language Models on Medical Licensing Exams Worldwide: A Systematic Review and Network Meta-Analysis With Meta-Regression ^[26]

• Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models ^[27]

• Comparing Diagnostic Accuracy of Clinical Professionals and Large Language Models: Systematic Review and Meta-Analysis ^[28]

• The 2026 AI Index Report ^[29]