40 км ошибки: что бывает, когда слепо веришь искусственному интеллекту

Для многих людей искусственный интеллект ^[1] стал важной частью жизни: с ним советуются по поводу здоровья, психологических проблем, составляют планы питания и тренировок, дружат, пишут с ним исследовательские работы и т.д. Но мало кто задумывается о качестве информации, которую выдает ИИ, предпочитая слепо верить первому же ответу.

В недавно я сделал то, чего обычно избегаю: полностью доверился искусственному интеллекту в ситуации, где ставка – время и деньги. И в итоге оказался в соседнем городе в 40 км от нужной точки.

Хочу рассказать эту историю не ради драматизма, а как очень наглядное напоминание: ИИ нужно перепроверять. Всегда.

Сюжет: я, метро Франкфурта и очень уверенный ИИ

Я был во Франкфурте и нужно было добраться из аэропорта до центрального вокзала – Frankfurt (Main) Hbf.

Маршрут простой: классический S-Bahn, линия S8, все как в инструкции.

Но немецкие табло живут своей жизнью, языковой барьер мешал спросить других.

У человека, который не живет в этой системе, мозг ^[2] закономерно спрашивает:

я точно еду куда нужно?

Я открываю чат с искусственным интеллектом и начинаю слать фото табло. ИИ отвечает очень уверенно, что все в порядке.

Звучит успокаивающе. Логично ^[3]. Подробно.

Я, как человек, который работает в IT и привык доверять системам, еду дальше.

Через какое-то время по карте вижу, что поезд делает странную петлю и уезжает как будто в сторону от центра. Спрашиваю ИИ: почему на карте я еду в обратную сторону?

Ответ: потому что ваш поезд делает петлю через несколько станций, это нормально для поездов в сторону Майнца.

Ну окей, бывает сложная развязка, думаю я. На родине я уже с таким сталкивался.

Проезжаем станцию с названием, которое мне вообще ничего не говорит. Пишу: я только что проехал город Kesterbach.

И тут в переписке наступает прозрение:

Спасибо, капитан.

Итог: мы выходим уже в соседнем городе примерно в 40 км от нужного места, ждем поезд обратно и едем в правильную сторону уже по старинке – по карте, табло и человеческим подсказкам.

Но почему так произошло?

При каждом запросе нужно помнить, что у ИИ есть ограничения. Нет доступа к вашему GPS, нет живой карты и расписания в реальном времени, не видит отмены рейсов, изменения маршрутов и особенности конкретного рейса. Он опирается на общие схемы и текст, а не на контекст ситуации.

Также ИИ обучают на информации за последние 10-15 лет. Это я для тех, кто любит советоваться с ИИ по вопросам юриспруденции и медицины. Вы рискуете получить устаревший ответ, который уже давно не соответствует современным данным.

Часто стеки добавок составляют через ИИ и получают странные сочетания, в лучшем случаи витамины и минералы просто не усвоятся. Дозировки часто смешные либо рискованно высокие, без опоры на ваши анализы и состояние здоровья, нет учета противопоказаний. Я уже не говорю про совместимость с препаратами. Поэтому любая ИИ-подсказка в этих темах – максимум черновик для обсуждения с живым специалистом, а не руководство к действию.

Я не перестану пользоваться ИИ. Наоборот, чем дальше, тем больше он помогает: собрать материал по исследованиям, подобрать статьи и ссылки, объяснить сложные термины, помочь понять суть и т.д.

За ним можно и нужно сверяться, поверх обязательно включать собственный мозг.

Если у вас были свои истории, где ИИ уверенно ошибался, расскажите.