ИИ убивает службу поддержки — даже несмотря на зелёные метрики

Привет! Я Сергей Козлов, директор CRM-системы «Мегаплан» и базы знаний с ИИ-помощником Collabis.  

Недавно наткнулся на рассылку американского карикатуриста Тома Фишбурна, известного под псевдонимом Marketoonist. Он вспомнил занимательный закон Чарльза Гудхарта — главного советника по денежно-кредитной политике Банка Англии и профессора Лондонской школы экономики и политических наук:

«Когда мера становится целью, она перестает быть хорошей мерой» 

Британский экономист сформулировал этот принцип в 1975 году. Но сегодня, в эпоху развития ИИ, утверждение становится ещё более актуальным. 

Оптимизируя цифры вместо достижения истинной цели, мы ставим под угрозу именно то, что изначально пытались улучшить. Погоня за метриками может привести к непредвиденным последствиям или вовсе направить бизнес по неверному пути. 

Яркий тому пример — работа современной службы поддержки, которую анализируют в статье на Entrepreneur ^[1]. Компании прикручивают в саппорт ИИ — по данным  прошлогоднего исследования «Сбераналитики» и «Сбер бизнес софт», «внедрение ИИ-ассистентов для первой линии поддержки даёт быстрый бизнес-эффект ^[2] и сокращает расходы на оплату труда до 30-40%». 

Но немногие менеджеры и даже ключевые руководители захотят признать, что это решение может нанести их бренду колоссальный вред. 

Почему так?

Цифры vs. Реальность

Одна из главных причин, почему проблема остается незамеченной, — это мониторинг производительности, предназначенный для отслеживания показателей обслуживания клиентов. Как только внедряется ИИ, уровень взаимодействия и время обработки запросов значительно улучшаются. Кроме того, не факт, что в первые месяцы показатели удовлетворённости клиентов сильно упадут. 

Однако клиент, который не получил обещанное, может попросту уйти. А если проблемы будут систематически не доходить до живых операторов, со временем это может подорвать доверие к бренду и стать препятствием для роста бизнеса.

По данным аналитического центра НАФИ, каждый третий россиянин оценивает ^[3] работу чат-ботов негативно. Более половины (57%) участников исследования сталкивались с ситуациями, когда не могли определить, общаются они с человеком или с роботом.

Корреспондент «Российской газеты» как-то провёл эксперимент ^[4], попытавшись через чат-ботов:

• узнать у провайдера, почему скорость интернета низкая

• разорвать договор с оператором мобильной связи

• обратиться в банк по поводу того, что к его рабочей сим-карте кто-то привязал свой банковский счёт, и несколько переводов уже ушли некоему получателю

В первых двух случаях боту пришлось перевести диалог на живого оператора. А в третьем — сошлись на том, что нейросеть составит заявление на отвязку счёта от номера, а банк самостоятельно проверит, действительно ли он принадлежит автору статьи. 

Получается, что во многих случаях работа живого оператора в службе поддержки по-прежнему остаётся актуальной — и это хорошая новость для тех, кто боится за свою карьеру.

Галлюцинации ещё тут

Галлюцинации — по-прежнему не частная, а масштабная проблема. Ситуацию осложняет то, что ИИ транслирует ложь с завидной уверенностью. 

Прошлогоднее исследование Массачусетского технологического института показало, что при передаче неверной информации ИИ-модели на 34% чаще используют формулировки с высокой степенью уверенности — например, слова «определённо» или «безусловно» — в отличие от случаев, когда они дают точные ответы.

Кстати, в рекламном ролике на самой первой презентации в 2023 году чат-бот Bard — ныне Gemini — неверно указал, что телескоп «Уэбб» сделал первые снимки планет вне Солнечной системы. На самом деле это заслуга Очень большого телескопа Европейской южной обсерватории. Астрономы, конечно, ошибку ^[5] заметили. Результат: за день акции Alphabet, материнской компании Google, обвалились почти на 8%, а рыночная капитализация сократилась на $100 млрд.

Доверие к ответам чат-ботов может привести к непредвиденным последствиям. Например, если чат-бот с ИИ сообщает клиенту неверные условия возврата, тот может потерять деньги, если возврат не будет осуществлён. Нечто подобное приключилось несколько лет назад в Канаде: чат-бот авиакомпании Air Canada дал неправильную информацию ^[6] о возможности получить скидку на перелёт. К слову, обманутый пассажир потом отсудил у канадской авиакомпании $812. 

Нейросети постоянно обучаются, но, бывает, сворачивают не туда. Так, отечественный голосовой робот для управляющих компаний в сфере ЖКХ всего за месяц ввёл в свой лексикон ^[7] мат. Пришлось отучать. 

«Позови человека»

Снижает доверие к бренду и ещё один фактор — неспособность ИИ передать сложные вопросы или явные просьбы о помощи человеку. Есть два сценария, как это обычно бывает. 

В первом случае клиент обращается в службу поддержки с реальной проблемой, а ИИ не справляется с её решением. Вместо того чтобы передать дело оператору, чат-бот постоянно предлагает практически один и тот же набор вариантов или ответов, создавая ненужные сложности. А когда сотрудник компании всё же включается в диалог, он не погружён в контекст проблемы, поэтому клиенту приходится объяснять всё заново.

Во втором случае до живого оператора достучаться слишком сложно, а ИИ лишь ещё больше усложняет путь, например, предлагая отправить электронное письмо. Что в итоге? Клиент отказывается от услуг и полностью теряет доверие к бренду.

Недавний перл о том, как ИИ взял бразды правления вместо человека. Клиентка попросила мобильного оператора отключить ^[8] бота, который автоматически отвечает на нежелательные вызовы. Однако функция осталась включённой: и бот, автоматически отвечая на нежелательный вызов, поговорил с другим ботом компании, который хотел, чтобы хозяйка номера оценила качество обслуживания. Такая вот рекурсия. 

Разных роботов и ИИ пренебрежительно называют ^[9] кланкерами — этот термин встречается в статье писателя-фантаста Уильяма Тенна в 1958 году, но популярность он обрёл благодаря «Звёздным войнам». А в 2025 году американский сенатор Рубен Гальего, используя этот термин, продвигал свой законопроект о том, чтобы обязать колл-центры дать возможность клиентам легко переключиться с ИИ-помощника на человека.

Ещё один интересный случай «из практики». Как-то британец обратился к чат-боту ^[10] логистической компании DPD, чтобы узнать судьбу отправления. Однако виртуальный собеседник категорически не справился: он не смог ни найти посылку, ни соединить с человеком, ни дать номер службы поддержки. Тогда недовольный пользователь заставил чат-бота написать стишок о том, что тот бесполезен. 

Что в итоге

Чем активнее мы управляем бизнесом на основе метрик и дашбордов, тем чаще должны задаваться вопросом: что именно эти метрики и дашборды измеряют? 

Можно измерять время ответа, но при этом важно не забывать ^[11] о ценности этого ответа. Да, пускай клиентам отвечают на 20% быстрее, а конфликтов стало меньше. Но какой в этом смысл, если ИИ даёт неверные ответы, а клиенты систематически не могут достучаться до оператора?

В оригинальной статье предлагается комплексное решение проблемы: 

1. Внедрять мониторинг использования ИИ с реальными показателями, которые отражали бы то, насколько качественно решаются проблемы и как это влияет на удержание клиентов. 

2. Создать многоуровневую систему обеспечения безопасности, разработав рекомендации по снижению распространения неверной информации. Необходимо внедрить механизмы, побуждающие ИИ проверять факты перед тем, как делиться ими с клиентами. 

3. Обеспечить проверку. Как бы ни был умён ИИ, без человека не обойтись: специалисты должны вручную проверять случайные диалоги, чтобы вовремя обнаружить, что идёт не так. 

***

Повышать эффективность обслуживания клиентов с помощью ИИ нужно не за счёт отношений с теми самыми клиентами, от которых зависит успех бренда. 

Быть уверенным в качестве ответов, которые генерируют чат-боты, — это база. Ведь с помощью соцсетей любой промах чат-бота способен обернуться в грандиозный репутационный скандал. С потерей клиентов, денег и нервов. 

Послесловие

В период пандемии COVID-19 появилось устойчивое выражение, что отныне живое общение, обучение ^[12], покупки офлайн — для богатых. Бедным — онлайн-образование, видеокурсы, Зум-конференции и маркетплейсы в приложении телефона. Про ИИ можно утверждать, что тренд такой же. Если не премиум-клиент, то будешь по полчаса переписываться с ботом. С другой стороны, ИИ умнеет очень быстро. Скоро перестанем фокусироваться на недостатках. Или просто привыкнем.