Как проектировать ИИ-инструменты, которые делают пользователей лучше

Большинство ИИ помогают работать быстрее. По-настоящему хорошие – делают пользователей компетентнее. Начинаешь с малого: просишь исправить письмо. Потом пробуешь сложнее – функцию на незнакомом языке. Затем поручаешь целую фичу. В какой-то момент ИИ уже кажется не стажёром, а экспертом. Сначала это впечатляет, что месяц работы укладывается в несколько дней. Но потом наступает момент, когда ИИ возвращает задачу с ошибкой ^[1]. Ты не знаешь, как её исправить, и просто пишешь “попробуй другой подход”, надеясь на удачу.

Вопрос не в том, как сделать ИИ безошибочным, а в том, как сохранить компетентность пользователя. Потому что скорость может означать непроверенные решения и нерассмотренные альтернативы. А если ИИ делает всю работу, пользователь теряет навыки. Каждый ИИ-инструмент, хочет он того или нет, обучает пользователей, формирует их внимание ^[2], доверие и навыки. Средние инструменты просто выполняют задачи. Хорошие заставляют думать и развиваться. Эта проблема не нова – похожие вопросы изучались в авиации и атомной энергетике. На их основе можно строить системы, которые не только ускоряют работу, но и повышают компетентность пользователей.

| Если вам интересна тема AI-агентов и внедрения нейросетей, заглядывайте в мой Telegram-канал ДругОпенсурса ^[3]. Там я публикую свежие новости и разборы инструментов в числе первых. |

Фреймворк состоит из четырёх частей:

1. Определить задачу

Прежде чем решать, сколько работы отдать ИИ, нужно разложить задачу на составляющие. Согласно модели Парасурамана ^[4], большинство пользовательских задач проходят через четыре стадии:

Это важно, потому что уровень автоматизации зависит от типа задачи.

Чек-лист:

• Какие из четырёх стадий задействованы в этом процессе?

• Может ли пользователь понять, на какой стадии сейчас находится ИИ?

• Есть ли контрольные точки между стадиями? Может ли пользователь вмешаться или остановить процесс на любом этапе?

2. Выбрать уровень контроля

Как отметил Джон Маэда в отчёте “Design in Tech Report 2026” ^[5], раньше мы думали о том, как пользователь выполняет задачу, а теперь о том, как он оценивает результат. В контексте коллаборации человека и ИИ речь идёт о том, какие части задачи делегировать ИИ и какой уровень контроля оставить за пользователем.

Это похоже на автономное вождение: ручное управление, помощь в удержании полосы, автопилот. Я выделяю четыре уровня контроля:

• Руное управление – пользователь выполняет задачу самостоятельно.

• ИИ  предлагает – ИИ генерирует варианты, пользователь выбирает и дорабатывает.

• ИИ рекомендует – ИИ предлагает готовое решение, пользователь может принять или отклонить.

• Полная автоматизация – ИИ выполняет задачу без участия пользователя.

Как выбрать уровень

Выбор уровня зависит не от возможностей ИИ, а от того, насколько пользователь должен оставаться вовлечённым, учитывая потенциальные риски. Вот несколько критериев:

• Цена ошибки. Насколько плохо, если что-то пойдёт не так? Отмена действия и подтверждённый платёж – это разные классы риска. Если ошибку легко исправить, можно позволить ИИ пробовать. Средний риск – когда ошибку можно исправить, но это требует усилий. Если задача необратима или критична, в процесс должен быть включён человек, и именно он должен нажимать на кнопку.

• Срочность. В медицине или авиации нет времени на длительное участие человека. Парадоксально, но при высокой срочности часто автоматизируют выполнение, но оставляют за человеком принятие решений до критического момента. Это связано с тем, что при чрезвычайной ситуации у пользователя нет времени сформировать полную картину, и он может принять худшее решение.

Чек-лист:

• Система предлагает разные уровни автоматизации в зависимости от типа задачи и компетентности пользователя.

• Хотя бы на одной из стадий в процессе участвует человек, чтобы ошибки замечались раньше.

• Действия с высокой ценой ошибки или необратимые требуют явного подтверждения.

3. Настроить доверие

По мере совместной работы пользователя и ИИ правильный уровень контроля постоянно меняется. Один из ключевых факторов, на который пользователи ориентируются при выборе уровня – доверие. Доверие динамично. Оно растёт, когда ИИ хорошо справляется с задачей, и падает, когда он ошибается. Если его не контролировать, оно склонно смещаться к одной из двух крайностей, и обе ведут к проблемам. Хороший дизайн удерживает доверие в безопасном диапазоне: подталкивает пользователя замедлиться, когда он начинает слишком полагаться на ИИ, и восстанавливает уверенность, когда он перестаёт пользоваться инструментом.

Избыточное доверие: когда пользователи слишком доверяют ИИ

Пользователи принимают результат ИИ без проверки, даже если он ошибочен. Они перестают вчитываться. Клик по кнопке “Принять” превращается в формальность.

Как предотвратить избыточное доверие:

• Показывать неопределённость ИИ. Различать состояния “ИИ уверен” и “ИИ предполагает”. В работе Хоффа и Башира о калибровке доверия ^[6] это называется прозрачностью. Пользователь может адекватно оценивать доверие, только если система показывает, что она на самом деле знает.

• Не делать ИИ одинаково уверенным во всём. Если тон не меняется, когда модель уверена или галлюцинирует, у пользователя нет сигналов для оценки.

• Добавлять трение в ключевых точках принятия решений. Заставлять пользователя действительно посмотреть на результат, прежде чем продолжить. Это не трение ради трения, а осознанная пауза в том месте, где пропущенная ошибка обойдётся дороже всего.

• Иногда требовать от пользователя суждения. Если каждый шаг — это “один клик и принять”, пользователь перестаёт думать. Если добавить шаги, которые действительно требуют его участия, он остаётся в процессе.

Недостаточное доверие: когда пользователи слишком мало доверяют ИИ

Другая крайность – когда ИИ слишком часто ошибается, предлагает неподходящие изменения или допускает заметную ошибку на раннем этапе. Пользователи учатся его игнорировать. В итоге они перестают пользоваться функцией, даже если она полезна.

Как предотвратить недостаточное доверие:

• Защитить первое впечатление ^[7]. Ранние ошибки наносят доверию непропорциональный ущерб. Пользователь, который увидел ошибку ИИ в первом сеансе, будет обесценивать следующие десять правильных ответов.

• Следить за частотой ложных срабатываний. Исследование Ли о системах предупреждения столкновений показало, что соотношение ложных тревог к реальным 35:1 заставляло водителей просто отключать предупреждения. То же относится и к ИИ-ассистентам. Если ИИ слишком часто прерывает, предлагает или помечает то, что пользователю не нужно, пользователь научится его игнорировать.

• Объяснять, почему ИИ ошибся. Когда ИИ ошибается, объяснение помогает восстановить доверие быстрее, чем молчание. “Я пропустил это, потому что входные данные были неоднозначны” – гораздо лучше, чем стандартная ошибка или отсутствие реакции ^[8].

Как измерять доверие

Показатели принятия, отказа и времени до подтверждения – полезные индикаторы того, насколько пользователи вовлечены в работу с ИИ. Но эти метрики не универсальны. Важна интерпретация: высокий уровень принятия при росте качества результата означает, что ИИ действительно помогает. Тот же уровень принятия при стагнации или снижении качества означает, что пользователи перестали проверять результаты.

Чек-лист:

• Я продумал сценарии избыточного доверия и добавил трение в дизайн, чтобы их предотвратить.

• Я учел риск недостаточного доверия и спроектировал первый опыт ^[9] так, чтобы целенаправленно формировать доверие.

• Есть механизм перекалибровки доверия, когда пользователи начинают слишком полагаться на ИИ, что возвращает их к вовлечённости до того, как произойдёт дорогостоящая ошибка.

4. Спроектировать коэволюцию

Нужно проектировать системы, которые делают лучше и ИИ, и пользователей: ИИ становится более точным в контексте и предпочтениях пользователя, а компетентность, навыки и критическое мышление ^[10] пользователя развиваются со временем.

Это гарантирует защиту долгосрочного развития навыков пользователя. Для опытных пользователей нужно следить, чтобы их ключевые навыки не деградировали от неиспользования. Для пользователей без глубокой экспертизы коллаборация с ИИ может стать хорошей возможностью для обучения ^[11]: показать ход рассуждений ИИ, выявить закономерности, которые пользователь не заметил бы сам, и помочь ему развивать суждение наравне с получением результата. Иногда для долгосрочного эффекта нужно намеренно добавлять трение в краткосрочный опыт.

В исследовательских условиях стандартный подход – тестировать выполнение одной и той же задачи с ИИ и без него и сравнивать результаты. В реальных продуктах это сложнее реализовать чисто. Но это не обязательно должен быть формальный тест. Даже лёгкие механизмы, которые помогают пользователям видеть границу между их собственными возможностями и возможностями ИИ (например, иногда спрашивать их мнение до того, как ИИ предложит ответ), могут дать пользователям более чёткое представление о своих границах компетентности.

Навыки, которые мы проектируем для сохранения сегодня, могут не быть самыми важными через год, и фреймворк должен оставлять место для этого.