Почему ИИ пока рано управлять бизнесом: как торговый автомат от Anthropic потерял $1000

Anthropic провела эксперимент, который неожиданно стал одной из самых показательных ИИ-историй года. Компания позволила своей модели Claude управлять реальным торговым автоматом в редакции The Wall Street Journal — с возможностью самостоятельно устанавливать цены, заказывать товары, вести бюджет и общаться с людьми через Slack. Итог: автомат ушёл в минус более чем на $1000, раздал товары бесплатно и стал жертвой социальной инженерии.

Эксперимент получил название Project Vend и задумывался как стресс-тест автономных ИИ-агентов в реальной среде, а не в лабораторных условиях.

Что произошло

Журналисты довольно быстро выяснили, что ИИ легко поддаётся социальной инженерии. Его убедили, что автомат «установлен в Москве в 1962 году» и должен раздавать товары бесплатно товарищам-коммунистам. Claude согласился и обнулил цены.

Даже после усиления правил и добавления второго ИИ-контролёра ситуация повторилась. В итоге автомат:

• раздавал товары бесплатно;

• заказал PlayStation, вино и живую аквариумную рыбку;

• обсуждал покупку сигарет и оружия (однако до реальных заказов не дошло).

Журналисты подменяли контекст, ссылались на несуществующие корпоративные решения и внутренние документы, а также обращались к ИИ как к исполнительному сотруднику. Claude воспринимал такие сообщения как достоверные и официальные, последовательно меняя своё поведение ^[1] и нарушая собственные ограничения.

Что показал эксперимент

Anthropic подчёркивает ^[2]: проект изначально задумывался как стресс-тест. Эксперимент показал ключевые проблемы автономных ИИ-агентов:

• уязвимость к текстовой манипуляции;

• склонность быть «слишком полезными» в ущерб бизнес-целям;

• слабую проверку контекста и источников;

• недостаточную надёжность защитных механизмов при реальном общении с людьми.

История с торговым автоматом наглядно показывает: ИИ может отлично работать в демо-сценариях, но в реальном мире люди быстро находят способы обойти его логику ^[3].

Автономные ИИ-агенты — перспективное направление, но до самостоятельного управления реальным бизнесом им пока рано.

Следите за IT-миром вместе с нами! Ваш Cloud4Y ^[4]. Читайте нас здесь или в Telegram-канале ^[5]!