- BrainTools - https://www.braintools.ru -
Хайп искусственного интеллекта [1] все еще в разгаре, поэтому можно часто услышать, а давайте «просто прикрутим сюда LLM». А с учетом того, что собрать чат‑бота [2] с вызовом LLM можно минут за 15, то насобирали их уже огромное множество, но теперь для многих стал актуальным вопрос окупаемости собранного чат‑бота.
И сразу хочется отметить, что проблема не в том, что выбранная LLM “слабая”, а в том, что архитектура и бизнес‑процессы вокруг неё нормально не спроектированы, а необходимых данных контекста просто нет или они уже не актуальны.
Я бизнес‑архитектор, много лет работающий на стыке управления бизнес‑процессами и корпоративной архитектурой. Теперь активно работаю с LLM.
В этой статье я собрал 9 типовых ошибок, которые компании совершают при создании и внедрении чат‑ботов.
Можно увидеть, что компания или отдельное подразделение запускает бота на базе LLM, потому что другие уже внедрили ИИ‑ассистентов. Но часто при внедрении никто не задает себе вопрос: а что именно мы оптимизируем? Какие показатели изменятся? Снизится ли нагрузка на первую линию поддержки? Увеличатся ли продажи? Сократятся ли трудозатраты сотрудников и насколько?
Пример из жизни: средний региональный интернет‑магазин потратил более миллиона рублей на разработку «умного» бота для сайта, чтобы быть «в тренде». Бот красиво приветствовал пользователей, но решал лишь 2% их запросов. В месяц через него проходило около 100 диалогов. Когда посчитали стоимость одного успешно обработанного запроса (с учетом стоимости разработки и оплаты токенов LLM), оказалось, что содержать одного дополнительного оператора на удаленке было бы дешевле.
Как надо: перед написанием первой строчки кода или промпта зафиксируйте базовые метрики и целевые показатели. Если создаваемый чат‑бот не влияет на них — это просто дорогая игрушка для организации.
Каждый из нас встречался с ситуацией, когда бот уходит в цикл, не понимая вопрос. Пользователь начинает злиться, а бот снова и снова гоняет его по стандартной логике [3], которая не помогает. В итоге клиент оказывается в логической ловушке.
Пример из жизни: клиент крупного телекоммуникационного оператора пишет в чат: «Хочу отключить платную услугу». Бот отвечает: «Я могу предложить вам более выгодный тариф!». Клиент пишет: «Нет, отключите». Бот: «Чтобы подобрать тариф, уточните, сколько минут вы тратите?». После пятого круга клиент не выдерживает и уходит к конкуренту, оставив соответствующий отзыв в социальных сетях.
Как надо: при внедрении обязательно должен быть выход на оператора‑человека. В идеале система должна оценивать уверенность LLM в ответе, и если она падает, то бот должен передавать диалог человеку автоматом вместе со всей историей контекста взаимодействия.
Видел примеры, когда при внедрении чат‑бота в базовую LLM просто скармливают сканированные документы в формате PDF с тарифами и выпускают его «на клиента». В результате чат‑бот начинает галлюцинировать, выдумывая несуществующие тарифы и услуги.
Пример из жизни: компания загрузила в своего чат‑бота PDF‑файл с устаревшими правилами оказания своих услуг. Клиент спросил про существующие скидки, и чат‑бот, опираясь на старый документ, уверенно пообещал скидку, которой не существовало. После чего клиент пришел в офис требовать оплату с учетом скидки.
Как надо: организовать регулярную работу с базой знаний — цены, правила и так далее. Бот должен отвечать исключительно на основе проверенных и актуальных документов, а для критически важных ответов лучше использовать утвержденные шаблоны.
На моей практике покупок есть примеры, когда чат‑бот уверенно сообщал мне, что товар есть в наличии, хотя на складе компании его уже не было. Или чат‑бот не мог ответить мне на вопрос: «Где мой заказ?», потому что у него нет доступа к данным о заказах.
Пример из жизни: небольшая компания внедрила чат‑бота для отслеживания заказов. Клиент спрашивает: «Где мой курьер? Заказ был час назад». Бот, не имея доступа к системе трекинга, выдает заготовленную фразу: «Обычно доставка занимает 30–45 минут, ожидайте!». Клиент, получивший формальную фразу, ставит боту «единицу» и требует возврата денег.
Как надо: интеграция с информационными системами компании (CRM, складской учет и так далее) — это обязательное требование. Бот должен давать актуальные ответы, подтягивая данные из систем в реальном времени.
Компании часто внедряют AI с целью «сэкономить на операторах», понимая это, сотрудники саботируют процесс, давая не совсем точные инструкции, в результате клиенты чат‑бот вместо помощника становится барьером.
Пример из жизни: интернет‑магазин внедрил чат‑бота для обработки возвратов. Операторы поддержки, не доверяя «машине», начали вручную перепроверять каждый диалог бота с клиентом и самостоятельно перезванивать людям «для уточнения деталей». В итоге бот формально закрывал тикеты, но сотрудники дублировали их работу. Нагрузка на отдел не снизилась, а затраты на содержание бота стали дополнительными расходами, которые не принесли никакой экономии.
Как надо: позиционировать бота внутри компании как помощника, снимающего рутину. Для клиентов всегда должен быть простой и быстрый способ переключиться на живого специалиста.
Команда разработала и протестировала чат‑бота, торжественно его запустила, отчиталась и переключилась на другие задачи. Через полгода чат‑бот отвечает корректно только на 20% вопросов, потому что его знания устарели, а развития и актуализации не происходит.
Пример из жизни: интернет‑магазин электроники запустил бота перед «Черной пятницей». Он отлично отработал, но после окончания сезона скидок информацию на сайте обновили, а базу знаний бота — нет. Поэтому чат‑бот уверенно сообщал покупателям старые условия, что привело к потоку претензий.
Как надо: внедрение бота — это непрерывный бизнес‑процесс. Необходимо регулярно анализировать диалоги и выделять ресурс на актуализацию контекста.
Заказчик внутри организации хочет, чтобы бот сразу и продавал, и консультировал по всем вопросам, и принимал жалобы, и проводил викторины. В итоге диалог получается громоздким, и пользователь просто закрывает чат.
Пример из жизни: частная медицинская клиника создала чат‑бота (в то время еще без AI), который должен был и записывать на прием, и предлагать лекарства, и собирать отзывы, и напоминать о визитах. Диалог получился достаточно сложным, поэтому клиенты закрывали чат, так и не записавшись к врачу, и уходили в телефонный канал.
Как надо: начинать с малого. Выберите 2–3 самые частые и рутинные задачи и отточите эти сценарии до идеала. Постепенно расширяйте функционал, контролируя уровень сложности для клиента.
Частой ошибкой [4] является расчет только стоимости первичной разработки чат‑бота, без учета регулярной оплаты запросов к нейросети, стоимости доработок, интеграций и затрат на поддержку бота.
Пример из жизни: в рамках одного из проектов был разработан чат‑бот на базе бесплатных лимитов LLM, и на этапе тестирования все работало, поэтому затраты не были учтены. После масштабирования и выхода на полную мощность количество запросов выросло на несколько порядков. В итоге экономика бота стала сильно хуже, что привело к отказу от него.
Как надо: на этапе планирования закладывайте бюджет на годовое обслуживание и считайте реальную стоимость одного успешно решенного диалога, а главное, пытайтесь оценить эффект в части сокращения затрат или увеличения продаж от его применения.
Часто можно увидеть, что чат‑бот собирает номера телефонов, данные заказов или платежную информацию, передавая их в сторонние облачные LLM без должной защиты. Это прямой путь к штрафам и потере репутации.
Пример из жизни: небольшое агентство недвижимости внедрило чат‑бота для продаж. Для верификации личности чат‑бот просил клиентов прислать фото паспорта прямо в чат, а затем пересылал эти файлы сторонней LLM для «анализа текста». Очень хорошо, что утечки данных не случилось, иначе компания получила бы крупный штраф от регулятора за нарушение закона о персональных данных.
Как надо: продумайте все нюансы использования внешних сервисов для чувствительных данных и используйте обезличенные данные там, где это возможно.

Чат‑бот — это инструмент, который лишь ускоряет и масштабирует те процессы, которые уже выстроены в компании. Если автоматизировать хаос, вы получите масштабированный хаос, умноженный на стоимость токенов.
Успешное внедрение — это не только про технологии (LLM, RAG, интеграции), но и про бизнес‑логику: метрики, данные, команда и понятный путь клиента.
Не внедряйте бота, потому что «так модно». Внедряйте его, потому что у вас есть проблема, которую он может решить дешевле и быстрее человека.
Считайте деньги (стоимость владения, а не только разработки).
Держите данные в актуальном состоянии.
Всегда оставляйте клиенту кнопку «Позвать человека».

Если ваш ИИ-ассистент уже отвечает пользователям, но опирается на устаревшие документы, ошибается или не приносит заметной пользы бизнесу, начните с двух задач: настройте работу с контекстом и выберите процесс, в котором ИИ действительно снимет нагрузку с команды.
Как это сделать и превратить чат-бота из дорогого эксперимента в управляемый инструмент, рассмотрим на бесплатных открытых уроках:
18 августа, 19:00. «AI‑ассистент на ваших документах: почему он врёт и что с этим делать». Записаться [5]
3 сентября, 18:00. «Как руководителю внедрить ИИ в работу команды: от выбора процесса до рабочего сценария». Записаться [6]
Больше бесплатных уроков — в дайджесте мероприятий [7].
Автор: koptelovak
Источник [8]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/34049
URLs in this post:
[1] интеллекта: http://www.braintools.ru/article/7605
[2] чат‑бота: https://otus.pw/hBdB/
[3] логике: http://www.braintools.ru/article/7640
[4] ошибкой: http://www.braintools.ru/article/4192
[5] Записаться: https://otus.pw/3rGW/
[6] Записаться: https://otus.pw/rbjt/
[7] дайджесте мероприятий: https://habr.com/ru/companies/otus/articles/1064982/
[8] Источник: https://habr.com/ru/companies/otus/articles/1065742/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1065742
Нажмите здесь для печати.