В прошлом году я наблюдал одно и то же внедрение AI в четырёх разных компаниях. Разные индустрии, разные бюджеты, один сценарий, вплоть до реплик.
Сценарий такой. Сверху приходит: «нам нужен AI, все уже внедрили». Спешно выкатывают корпоративного ассистента — чат поверх LLM, обёрнутый в фирменные цвета. Через месяц готов слайд: «AI-ассистентом воспользовались 10 000 раз». Совет доволен. В письме инвесторам — строчка про «AI-трансформацию». Продукту — премия.
А теперь то, чего на слайде нет. Я в таких случаях прошу показать не «количество запросов», а три других числа. Сколько людей пришло во второй раз. Сколько пользуется раз в неделю спустя месяц. И что эти люди перестали делать по-старому.
В одной из тех четырёх компаний картина была такая: из десяти тысяч запросов девять тысяч — люди, которые задали один вопрос, получили ерунду и не вернулись. Никогда. Из оставшихся — половина это сотрудники, которых попросили «потестить», и демо для руководства. Недельная активная аудитория «внедрённого» AI спустя квартал — четырнадцать человек. Из четырёх тысяч сотрудников.
В отчёте осталось «10 000». Слайд ещё дважды показывали на советах.
Это не история про плохую компанию
Это история про всех. Прямо сейчас в сотнях компаний висят дашборды AI-adoption, и почти все они показывают одно и то же: активность, выданную за ценность. «Сколько раз ткнули» вместо «скольким помогло». Первое легко посчитать и приятно показать. Второе трудно мерить и страшно узнать.
С обычными фичами эта подмена тоже случается — я про неё уже писал. Но с AI она приобрела масштаб эпидемии, и вот почему.
Внедряли под страхом, а не под задачу. Большинство корпоративных AI-проектов последних двух лет родились не из «у нас есть проблема X», а из «все внедряют, мы отстаём». Когда проект рождается из FOMO, у него нет критерия успеха — некому спросить «а что должно было измениться?», потому что задачи не было. Есть только критерий отчётности: показать, что внедрили. Usage-метрика для этого идеальна.
Признать провал не может никто в цепочке. Продакт, который вёл внедрение. Директор, который выбил бюджет. CEO, который рассказал совету про AI-стратегию. Совет, который одобрил под давлением акционеров. У каждого этажа личная ставка на то, чтобы график рос. Это не заговор — это выстроенная в ряд мотивация, при которой неудобные вопросы не задаёт никто, потому что ответ ударит по всем сразу.
Метрика превратилась в цель мгновенно. Обычно закону Гудхарта нужно время. Тут KPI «adoption» повесили в момент запуска — и накрутка началась с первого дня, причём самая невинная: AI-кнопку — на главный экран, «спроси ассистента» — в онбординг, обязательное демо — каждому отделу. Каждый шаг называется «повышаем discoverability». Сумма шагов — график, который растёт независимо от того, есть ли внутри польза.
Инженеры это видят первыми
Отдельная ирония в том, что для инженеров это никакая не новость. Спросите любого, кто сидит рядом с таким «внедрением»: он вам без всякой аналитики скажет, что ассистентом пользуются полтора человека, что половина ответов — галлюцинации по устаревшей базе, и что сам он ходит в обычный ChatGPT, потому что корпоративный хуже.
То есть в компании одновременно живут два знания. Внизу все знают, что AI не взлетел. Наверху все знают, что AI успешно внедрён. И оба знания стабильны, потому что между ними — тот самый дашборд, который переводит «не взлетело» в «10 000 использований». Дашборд работает границей: правда снизу через него не проходит.
Три вопроса, которые вскрывают любой AI-отчёт
Задавайте их про любое внедрение — своё или то, про которое вам рассказывают:
Сколько вернулись во второй раз? Ценность возвращается, активность — нет. Человек, которому AI реально помог, приходит сам, его не надо заманивать попапом. Разрыв между «попробовали» и «вернулись» — это и есть точный размер театра.
Что люди перестали делать по-старому? Настоящее внедрение что-то замещает: поиск по вики, письма в поддержку, ручную рутину. Если «пользуются AI», но все старые процессы живы и здоровы — AI не используют. Его пробуют.
Кто расстроится, если выключить завтра? Самый честный. У работающего инструмента есть люди, которые придут ругаться в первый же час. Я задавал этот вопрос вслух на нескольких разборах — по лицам всё понятно ещё до ответа.
Если метрика — ваша
Не отчитывайтесь голым usage. Добавляйте возвраты и замещение, даже если не просят. График станет скромнее — зато решения по нему будут стоять на настоящем.
Не вешайте премию на счётчик запросов. Любая метрика с деньгами наверху начинает накручиваться в течение квартала — не потому что люди жулики, а потому что оптимизация течёт туда, куда смотрят деньги.
И если вы наверху — слово «adoption» в докладе должно включать у вас не аплодисменты, а один вопрос: «сколько вернулись?». Этот вопрос стоит секунду и экономит год разработки в никуда.
Тот ассистент из начала, кстати, тихо выпилили при следующем редизайне. Не заметил никто — кроме дашборда. Он ещё месяц показывал рост: попап «попробуйте нашего AI» продолжал собирать первые клики.
Я вхожу в чужие инженерки под NDA и навожу порядок — оттого пишу без лица и без названий компаний. Таких историй накопилось на книгу, и я её пишу — по главе выкладываю в Telegram вместе с разборами вроде этого: https://t.me/theshadowcto. Если узнали свой дашборд — заходите.
Автор: theshadowcto
