Anthropic провела эксперимент, который неожиданно стал одной из самых показательных ИИ-историй года. Компания позволила своей модели Claude управлять реальным торговым автоматом в редакции The Wall Street Journal — с возможностью самостоятельно устанавливать цены, заказывать товары, вести бюджет и общаться с людьми через Slack. Итог: автомат ушёл в минус более чем на $1000, раздал товары бесплатно и стал жертвой социальной инженерии.
Эксперимент получил название Project Vend и задумывался как стресс-тест автономных ИИ-агентов в реальной среде, а не в лабораторных условиях.
Что произошло
Журналисты довольно быстро выяснили, что ИИ легко поддаётся социальной инженерии. Его убедили, что автомат «установлен в Москве в 1962 году» и должен раздавать товары бесплатно товарищам-коммунистам. Claude согласился и обнулил цены.
Даже после усиления правил и добавления второго ИИ-контролёра ситуация повторилась. В итоге автомат:
-
раздавал товары бесплатно;
-
заказал PlayStation, вино и живую аквариумную рыбку;
-
обсуждал покупку сигарет и оружия (однако до реальных заказов не дошло).
Журналисты подменяли контекст, ссылались на несуществующие корпоративные решения и внутренние документы, а также обращались к ИИ как к исполнительному сотруднику. Claude воспринимал такие сообщения как достоверные и официальные, последовательно меняя своё поведение и нарушая собственные ограничения.
Что показал эксперимент
Anthropic подчёркивает: проект изначально задумывался как стресс-тест. Эксперимент показал ключевые проблемы автономных ИИ-агентов:
-
уязвимость к текстовой манипуляции;
-
склонность быть «слишком полезными» в ущерб бизнес-целям;
-
слабую проверку контекста и источников;
-
недостаточную надёжность защитных механизмов при реальном общении с людьми.
История с торговым автоматом наглядно показывает: ИИ может отлично работать в демо-сценариях, но в реальном мире люди быстро находят способы обойти его логику.
Автономные ИИ-агенты — перспективное направление, но до самостоятельного управления реальным бизнесом им пока рано.
Следите за IT-миром вместе с нами! Ваш Cloud4Y. Читайте нас здесь или в Telegram-канале!
Автор: Cloud4Y
