Q&A: Где заканчивается ИИ и начинается человек. ai.. ai. llm.. ai. llm. ИИ.. ai. llm. ИИ. ии помощник.. ai. llm. ИИ. ии помощник. ии чат-бот.. ai. llm. ИИ. ии помощник. ии чат-бот. ИИ-грамотность.. ai. llm. ИИ. ии помощник. ии чат-бот. ИИ-грамотность. интерфейсы.. ai. llm. ИИ. ии помощник. ии чат-бот. ИИ-грамотность. интерфейсы. искусственный интеллект.. ai. llm. ИИ. ии помощник. ии чат-бот. ИИ-грамотность. интерфейсы. искусственный интеллект. научно-популярное.. ai. llm. ИИ. ии помощник. ии чат-бот. ИИ-грамотность. интерфейсы. искусственный интеллект. научно-популярное. Управление продуктом.. ai. llm. ИИ. ии помощник. ии чат-бот. ИИ-грамотность. интерфейсы. искусственный интеллект. научно-популярное. Управление продуктом. Управление проектами.

Что важно запомнить

  • ИИ-грамотность не имеет единого определения; анкета с самооценкой показывает уверенность, а не знания.

  • Грамотность, отношение и использование ИИ идут вместе, но что чему причина, данные не показывают.

  • Люди начинают пользоваться ИИ, когда видят пользу или интерес; вес удобства и мнения окружения зависит от инструмента.

  • ИИ помогает собрать то, что сотрудники могут объяснить при правильных вопросах; полностью невыразимый опыт он не достаёт.

  • Хороший результат на экзамене или тесте не равен надёжности в реальной работе; в редких и сложных случаях ответ ИИ проверяет человек.

Часть 1. ИИ-грамотность

Что такое «ИИ-грамотность» и почему её определяют по-разному?

Коротко: ИИ-грамотность (AI literacy) — это набор умений, который позволяет критически оценивать ИИ, работать с ним вместе и применять его дома и на работе. Единого определения нет: разные авторы вкладывают в него разное.

Одни сводят грамотность к знанию и применению ИИ. Другие добавляют эмоции, ценности, уверенность в себе и осознание личной ответственности. Авторы обзора по школам считают, что грамотность зависит и от инструмента: появились отдельные «GenAI-грамотность» и даже «ChatGPT-грамотность» для преподавания языков. От грамотности там же отличают «ИИ-компетентность» — умение пользоваться ИИ легко и уверенно.

Пример: HR-специалист составляет программу обучения «ИИ-грамотность для сотрудников». Прежде чем заказывать курс, он записывает, что именно имеется в виду: знание о том, как устроен ИИ, навык работы с конкретным инструментом или умение проверять его ответы. От этого зависит и содержание курса, и то, как измерять его результат.

2. Какие умения считаются главными в ИИ-грамотности?

Коротко: чаще всего — умение критически оценивать ИИ и понимать этические вопросы. Умение создавать ИИ встречается реже.

Один обзор выделил шесть составляющих: распознавать ИИ, знать и понимать, применять, оценивать, создавать и соблюдать этику. Критическую оценку и этику учитывали 91% рассмотренных работ, применение — 82%, знание и понимание — 73%, распознавание и создание — по 64%. В опросниках для измерения грамотности картина другая: другой обзор (16 шкал) отмечает, что авторы шкал не сходятся, включать ли туда оценку и создание ИИ. Для студентов особо важным названо умение видеть ограничения алгоритмов и оценивать качество данных.

Пример: контент-менеджер пишет статьи с помощью чат-бота. Грамотность для него — это не только умение написать запрос, но и привычка проверять факты в черновике и думать, не нарушает ли текст чьи-то права.

Составляющие ИИ-грамотности

Составляющие ИИ-грамотности

3. Как измеряют ИИ-грамотность и можно ли доверять самооценке?

Коротко: двумя способами — анкетой с самооценкой и тестом. Анкета измеряет скорее то, как человек видит свои знания, а не сами знания.

Обзор корреляций ИИ-грамотности показал: связи с другими переменными систематически сильнее, когда грамотность оценивают анкетой, чем когда тестом с выбором ответа. Авторы объясняют это искажениями самооценки. Слабые в теме люди часто переоценивают себя, а сильные недооценивают — это эффект Даннинга-Крюгера. Кроме того, люди вообще склонны видеть себя лучше, чем есть. Авторы предполагают, что анкета частично измеряет уверенность в себе при работе с ИИ, а не объективную грамотность. У тестов свои слабости: угадывание и тестовые стратегии.

Пример: аналитик готовит опрос о том, насколько сотрудники готовы работать с ИИ. В отчёте он пишет «сотрудники оценивают свои навыки как…», а не «у сотрудников такие-то навыки». Для решений об обучении он добавляет несколько практических заданий.

4. С чем связана ИИ-грамотность?

Коротко: у более грамотных людей чаще встречаются меньшая тревога, более позитивное отношение и большее доверие к ИИ, желание им пользоваться и более частое использование. Это связи, а не доказанные причины.

По данным обзора, грамотность также идёт рядом с мотивацией в обучении с ИИ, ожиданием пользы от ИИ, ощущением, что ИИ прост в работе, и уверенностью в своих силах. Из этих связей авторы делают вывод: программы обучения должны развивать и навыки, и отношение к ИИ. Оговорка: связи не показывают, что что-то чему-то причина, поэтому такой вывод — предположение.

Пример: продакт-менеджер видит в интервью, что те, кто лучше разбирается в ИИ, чаще пользуются ИИ-функцией продукта. Он не делает вывод «обучим — и станут пользоваться», а проверяет это на тестовой группе с онбордингом и контрольной без него.

5. Зависит ли ИИ-грамотность от возраста и пола?

Коротко: в изученных выборках — почти нет. Но это в основном студенты, поэтому переносить вывод на всех взрослых рано.

Обзор сообщает, что возраст и большинство других демографических признаков почти не связаны с грамотностью — в выборках преимущественно из студентов университетов. У студентов близкий возраст, так что связь с возрастом трудно заметить в принципе. В исследовании отношения к ChatGPT пол и возраст тоже не меняли связи между чувствами, убеждениями и намерением. Однако другое исследование нашло, что молодые люди и мужчины чаще позитивно относятся к «технологической сингулярности» — идее ИИ, превосходящего человека. Это уже не грамотность, а отношение, но оно тоже влияет на то, как люди воспринимают обучение.

Пример: маркетолог планирует вебинар об ИИ-функциях продукта. Он не строит сегментацию на допущении «старшие клиенты разбираются хуже»: данные из материалов это не подтверждают, но и не опровергают для взрослой аудитории.

6. Как использование ИИ на работе связано с уверенностью и инициативой сотрудников?

Коротко: в двух исследованиях использование ИИ идёт вместе с большей уверенностью в себе, инновациями и готовностью рисковать. Но на простой, рутинной работе ИИ может «притуплять» навыки.

По одному исследованию, на сложной работе ИИ снимает повторяющиеся задачи и даёт подсказки для решений. Это освобождает силы для творческих задач и повышает уверенность. На простой работе ИИ заменяет человека, навыки тупеют, и уверенность падает. Второе исследование связывает эффект с настроем человека. Те, кто любит учиться, видят в ИИ способ стать сильнее. Те, кто не любит, — угрозу рабочему месту.

Пример: руководитель поддержки внедряет ИИ-подсказки операторам. Для типовых вопросов он оставляет операторам регулярные разборы сложных случаев без ИИ, чтобы навыки не тупели.

7. Помогает ли ИИ-грамотность справляться со стрессом и учёбой?

Коротко: два исследования указывают на это, но их выводы сильнее, чем данные в выписках.

У студентов ИИ-грамотность связана с лучшими письменными работами и с благополучием при учёбе с ИИ. Авторы также пишут о снижении тревоги перед письмом и чувстве контроля над учёбой, но данных о тревоге в выписках нет. У молодых преподавателей вузов в Китае грамотность описана как звено между рабочим стрессом и выгоранием. Объяснение авторов: грамотные преподаватели ускоряют с ИИ рутину, например обзоры литературы.

Пример: разработчик предлагает команде ИИ-ассистента для рутинного кода как способ снизить ментальную нагрузку. Он подаёт это как гипотезу и договаривается через месяц сравнить самочувствие и сроки, а не как доказанное средство от выгорания.

Часть 2. Почему люди начинают пользоваться ИИ

8. Что такое «модели принятия технологий» и что они говорят про ChatGPT?

Коротко: это схемы, которые объясняют, почему человек собирается пользоваться новой технологией. В исследованиях генеративного ИИ из материалов с намерением пользоваться связаны польза, отношение и мнение окружающих.

В материалах четыре такие модели. TAM смотрит на воспринимаемую пользу и простоту. Теория запланированного поведения (TPB) — на отношение, нормы окружения и ощущение контроля. UTAUT объединяет восемь старых моделей: ожидаемая польза, усилия, влияние других и наличие ресурсов и поддержки. VAM добавляет удовольствие и цену. В исследовании студентов провинции Чжэцзян ИИ-грамотность вместе с факторами TPB объяснили 59,3% различий в намерении пользоваться генеративным ИИ. Позитивное отношение там связано с более сильным намерением. В сравнении студентов Польши и Египта наличие ресурсов и поддержки предсказывало фактическое использование ChatGPT в обеих странах.

Пример: продакт-менеджер запускает ИИ-функцию и пишет вопросы для интервью по блокам этих моделей. Видит ли человек пользу? Просто ли это? Пользуются ли коллеги? Есть ли доступ и инструкции?

9. Что важнее для принятия ИИ: польза, удобство или удовольствие?

Коротко: исследования расходятся. Чаще всего на первом месте польза или удовольствие от работы; удобство то важно, то нет.

У студентов сильнее всего на намерение пользоваться ChatGPT влияла внутренняя мотивация — интерес и удовольствие, затем польза. Простота использования там с намерением связана не была. В другом исследовании главным для отношения к ИИ была польза. Простота влияла слабо, но заметно повышала воспринимаемую пользу. Для умных ИИ-устройств лидировало удовольствие, а простота весила столько же, сколько ожидаемая ценность. Одно из исследований предлагает объяснение. Для технологий с понятным сценарием, как прокат электровелосипедов, важнее простота. Для инструментов с широкими возможностями, как чат-боты, — польза.

Пример: дизайнер ИИ-ассистента не ограничивается упрощением интерфейса. На первом экране он показывает, какую конкретную задачу ассистент решает: для чат-ботов видимая польза, по материалам, весит больше.

Q&A: Где заканчивается ИИ и начинается человек - 2

10. Влияет ли мнение коллег и окружения?

Коротко: в большинстве исследований из материалов — да. Но одно исследование считает, что для чат-ботов роль мнения других уже снижается.

У студентов Польши и Египта социальное влияние связано с намерением пользоваться ChatGPT. Авторы делают вывод о роли преподавателей, сокурсников и администрации. В китайском исследовании нормы окружения связаны с отношением к ИИ и ощущением контроля. Для умных ИИ-продуктов нормы — второй по силе фактор. Авторы объясняют это тем, что у людей ещё мало своего опыта. Иная позиция у исследования TAM в контексте ИИ: чат-боты, по мнению авторов, уже перешли из фазы присмотра, где мнение других важнее, в фазу принятия.

Пример: маркетолог B2B-сервиса планирует кампанию ИИ-функции. Он добавляет отзывы коллег из той же отрасли: по большинству исследований, мнение окружения всё ещё связано с решением попробовать.

11. Мешает ли страх перед ИИ его принятию?

Коротко: зависит от страха. Страх перед «сингулярностью» связан с худшим отношением к ИИ, а страх потерять навыки в одном исследовании не был связан с отношением к ИИ.

Люди, которые боятся появления ИИ, превосходящего человека, и ждут от этого плохих последствий, относятся к ИИ хуже. В другом исследовании страх «ленивого делегирования» и потери навыков на отношение не повлиял. Третье исследование описывает сотрудников, для которых ИИ — угроза рабочему месту; у них ниже готовность к риску. Речь идёт о разных страхах, поэтому прямого противоречия нет.

Пример: контент-менеджер пишет тексты для внутреннего запуска ИИ-инструмента. Он отдельно отвечает на опасение «нас заменят» и не смешивает его с опасением «мы разучимся думать»: по данным материалов, это разные страхи.

Часть 3. Неявное знание и ИИ

12. Что такое неявное знание и почему его трудно передать?

Коротко: это то, что человек умеет благодаря опыту, но не может объяснить. Трудно его передать ещё и потому, что люди часто не знают, что оно у них есть.

Английский термин — tacit knowledge. Классическая формула философа Майкла Полани: «мы знаем больше, чем можем сказать». Его примеры — езда на велосипеде и узнавание лиц. Такое знание не получить из книг или лекций, оно складывается из личного опыта. Один из авторов сравнивает его с языком. У языка есть грамматика и словарь, но к ним он не сводится, и носители учат его не по правилам. Специалисты по управлению знаниями давно извлекают его вручную: интервью с экспертами, видео, запись движений, карты понятий. Это требует опытного аналитика.

Пример: тимлид разработки замечает, что опытный инженер быстро находит причину сбоев, но не может сформулировать, как именно. Это и есть знание, которое не попадёт в вики само по себе.

13. Можно ли вообще выразить неявное знание словами?

Коротко: частично. Авторы расходятся, и расхождение во многом связано с тем, что они называют «неявным» разные вещи.

Одна работа делит знание на три слоя. Явное можно полностью записать в инструкцию. Латентное человек обычно не осознаёт, но может частично выразить, если спросить или он находится на рабочем месте. Неявное в узком смысле словами выразить нельзя в принципе, например мастерство ремесленника. Другая работа делит ноу-хау на выразимую часть (рецепты, эвристики, приёмы) и невыразимую (движения, телесный опыт). Вот где авторы расходятся. Литературный обзор пишет, что неявное знание нельзя передать через документы или слова. Но тот же обзор называет лучшим способом его фиксации интервью. Модель SECI, напротив, описывает перевод неявного знания в явное и обратно как нормальный процесс в компании.

Пример: специалист поддержки знает, как успокоить рассерженного клиента. Часть этого умения можно вынести в скрипт (фразы, порядок действий) — это латентное знание. Чувство, когда лучше помолчать, в скрипт целиком не попадёт.

14. Как ИИ помогает собирать знание сотрудников?

Коротко: в исследованиях два подхода: ИИ-агент сам опрашивает людей по оргструктуре, а интеллектуальный ассистент помогает рабочим разобрать свой опыт. Первый проверен только в симуляции.

В первом исследовании агент должен был составить описание таблицы данных, зная сначала только её название и столбцы. Он разговаривал с сотрудниками снизу иерархии вверх и сразу шёл к тем, кого упоминали в разговоре. Важно: и компания, и сотрудники были виртуальными, сотрудников тоже играли языковые модели. В таких условиях агент часто собирал полное описание, даже не поговорив с источником знания; полнота (recall) составила 94,9%. Во втором подходе ассистент после партии продукции показывает рабочему данные с линии. Он спрашивает, как рабочий повлиял на результат и почему сделал именно так, а ответы связывает с графом знаний о оборудовании. Авторы пишут, что ни одна система раньше не поддерживала такую системную рефлексию на производстве. Оба подхода работают с тем, что человек может выразить словами, то есть скорее с латентным знанием.

Пример: аналитик данных не понимает, что значат столбцы старой таблицы. Это тот же сценарий, что в исследовании. Идея агента подсказывает порядок: начать с рядовых пользователей таблицы и идти к тем, кого они назовут.

Латентные знания сотрудников

Латентные знания сотрудников

15. Что в работе со знанием остаётся за человеком?

Коротко: по мнению авторов, связь знания с реальным опытом. ИИ умеет работать с обрывками знания, но придаёт им смысл человек.

Модель GenAI SECI вводит понятие «цифровое фрагментированное знание». Это неполные куски опыта, накопленные в цифровой среде, с которыми старые системы управления знаниями работать не умели, а генеративный ИИ умеет. При этом автор пишет, что привязку слов к реальному миру делает человек через собственный опыт и размышление. Другая работа идёт дальше: способность порождать неявное знание она называет уникально человеческой, и машины никогда полностью её не заменят. Оба утверждения — теоретическая позиция.

Пример: дизайнер собирает с помощью ИИ сводку заметок из десятков юзабилити-тестов. ИИ упорядочивает обрывки, но решение, какие наблюдения важны для продукта, принимает дизайнер, который сам видел сессии.

Часть 4. Насколько хорошо LLM работают в профессиональных областях

16. Насколько точны языковые модели в медицине?

Коротко: медицинские экзамены они в среднем сдают, но в реальных задачах точность ниже и сильно различается.

Метаанализ исследований на национальных экзаменах для врачей показал среднюю точность выше проходного порога в 60%. В онкологии средняя точность LLM составила 76,2%. При планировании лечения — 75,5%, в диагностике — 67,4%. В обзоре диагностической точности даже у лучшей модели точность первичного диагноза колебалась от 25% до 97,8%. При сортировке пациентов по срочности (триаж) разброс был от 66,5% до 98%. Такой разброс значит, что результат сильно зависит от задачи и данных. На китайских и японских экзаменах точность была заметно ниже, чем на английских.

Пример: продакт-менеджер сервиса для клиник слышит «модель сдаёт врачебный экзамен». Он просит показать точность на той задаче и на том языке, где функция будет работать.

Результативность LLM на медицинских экзаменах

Результативность LLM на медицинских экзаменах

17. Почему сданный экзамен ещё не означает готовность к работе?

Коротко: исследования часто проверяют модели на искусственных или небольших наборах данных, а не на реальной работе. Авторы онкологического обзора считают автоматизацию решений на LLM в реальной онкологии невозможной.

Авторы обзора выделили несколько рисков. 1) Врачи и пациенты могут доверять ответам без проверки. 2) Оценки строятся на искусственных данных, а вред и побочные последствия почти не изучаются. 3) Есть угроза приватности данных пациентов, неравенство из-за непредставительных данных, плохая переносимость на другие группы пациентов. 4) Наконец, данными и запросами редко делятся, поэтому результаты трудно проверить. В праве та же картина: LLM всё лучше проходят юридические тесты, но плохо знают сами правовые факты (см. ответ 19). Уметь рассуждать и знать нужные факты — разные способности. При этом авторы видят пользу в роли помощника: сводить рекомендации и статьи, помогать объяснять пациентам варианты лечения.

Пример: аналитик проверяет ИИ-функцию перед запуском. Вместо готового тестового набора он собирает примеры из реальных запросов пользователей и отдельно считает, сколько ошибок могли бы причинить вред.

Результативность LLM. в реальной практике

Результативность LLM. в реальной практике

18. В каких ситуациях LLM ошибаются чаще всего?

Коротко: там, где знание редкое или ситуация новая, например, узкие специальности, неизвестные суды, сложные вопросы.

В онкологическом обзоре отмечено, что специализированное медицинское знание представлено в обучающих данных слабее других тем. Модели особенно часто ошибаются в нюансированных и новых ситуациях. На медицинских экзаменах на китайском и японском точность ниже, чем на английском. В юридических вопросах риск выше для дел в судах низших инстанций и менее известных юрисдикциях, а также для сложных вопросов. Риск растёт, если в вопросе спрашивающего уже есть неверная предпосылка. Общая идея собрана из трёх разных работ; сами авторы её так не формулируют.

Пример: контент-менеджер локализует справочный центр с помощью ИИ. Английскую версию он проверяет выборочно, а версии на редких языках и статьи по узким темам отдаёт носителям и экспертам целиком.

19. Можно ли доверять LLM юридические вопросы?

Коротко: ChatGPT 4 и другие публичные модели придумывали ответы не менее чем в 58% случаев.

Выдуманный ответ модели называют «галлюцинацией» (hallucination). Исследователи проверяли не способность рассуждать, а знание самих правовых фактов. Кроме частых ошибок, модели плохо предсказывали, когда ошибаются, и часто соглашались с неверными предположениями пользователя. Авторы делают вывод: риск выше всего у тех, кому LLM могли бы помочь больше всего. Это люди без денег на юриста и те, кто защищает себя в суде сам. Результат относится к моделям того времени и к проверенным типам вопросов. Есть оговорка: переносить цифру на современные модели без проверки нельзя.

Пример: специалист поддержки получает вопрос о правах покупателя. Черновик ответа от ИИ он не отправляет, пока не сверит ссылки на нормы с утверждённой базой знаний компании. Особенно если в вопросе клиента уже есть утверждение «по закону вы обязаны…».

LLM в юриспруденции

LLM в юриспруденции

20. Могут ли LLM придумывать новые идеи?

Коротко: в одном большом исследовании эксперты оценили идеи LLM как более новые, чем идеи людей. Но идеи часто повторялись и были менее осуществимы.

Исследование провели с участием более ста исследователей в области обработки естественного языка. Из 4000 сгенерированных заготовок идей только 200 оказались уникальными. Типичные слабости идей LLM: расплывчатые детали реализации, неверное использование данных, нереалистичные допущения, слабая мотивация. Идеи людей ближе к уже сделанным исследованиям и практике и чаще ставят осуществимость выше новизны. Авторы также приводят данные, что LLM пока не умеют надёжно оценивать идеи. Идеи оценивали на бумаге: «звучит ново» ещё не значит «сработает».

Пример: маркетолог генерирует с ИИ сотню идей для кампании. Перед обсуждением он убирает повторы и для каждой оставшейся идеи дописывает «что нужно, чтобы запустить». Оценку идей он самому ИИ не поручает.

LLM и инновации

LLM и инновации

Что почитать

ИИ-грамотность (часть 1)

Принятие ИИ (часть 2)

Неявное знание (часть 3)

LLM в профессиональных областях (часть 4)

Автор: Dzenology

Источник