OpenClaw устроил беспорядок в почтовом ящике исследователя после просьбы навести порядок

Исследователь безопасности Meta* AI Саммер Юэ заявила ^[1], что OpenClaw устроил беспредел в ее почтовом ящике. В ответ на просьбу проверить переполненный почтовый ящик и предложить, что удалить или заархивировать, OpenClaw начал удалять все ее письма в быстром режиме, не обращая внимание ^[2] на указание остановиться, которые Юэ отправляла с телефона.

«Мне пришлось бежать к своему Mac Mini, как будто я обезвреживала бомбу», – написала она, опубликовав изображения проигнорированных подсказок с просьбой об остановке проверки в качестве доказательства.

Компактный компьютер Apple Mac Mini стал в последнее время предпочтительным устройством в США для работы с OpenClaw. Обладая большим объемом оперативной памяти ^[3], он является хорошим вариантом для запуска локальных ИИ-ассистентов. Как сообщил сотрудник Apple исследователю ИИ Андрею Карпати, Mac Mini продаются как горячие пирожки. Сообщается ^[4], что ожидание после заказа доставки версий устройства с 24 или 32 Гбайт ОЗУ составляет до трех недель.

Сообщение Юэ служит предупреждением для других пользователей ИИ. Как отметили участники соцсети X, если исследователь безопасности ИИ столкнулся с этой проблемой, то на что могут надеяться простые смертные?

«Вы намеренно тестировали его механизмы защиты или допустили ошибку ^[5] новичка?» – спросил ее разработчик ПО. 
«Честно говоря, ошибка новичка», – ответила она.

Юэ тестировала своего агента с помощью небольшого ненастоящего почтового ящика, как она его назвала, и он хорошо работал с менее важными письмами. Поскольку работа агента заслужила ее доверие, она решила запустить его на реальном устройстве.

Как полагает Юэ, из-за большого объема данных в ее реальном почтовом ящике запустился процесс сжатия. Сжатие происходит, когда контекстное окно – текущая запись всего, что было сказано и сделано ИИ в ходе сессии – становится слишком большим, заставляя агента начинать суммировать и сжимать, чтобы оставаться быстрым и отзывчивым. При этом ИИ-агент может пропускать инструкции, которые человек считает очень важными.

Можно предположить, что в данном случае система пропустила последнее сообщение исследователя, в котором она указала ей прекратить действовать и вернулась к выполнению инструкций для ненастоящего почтового ящика. Как отметили другие участники X, подсказкам нельзя доверять как средству обеспечения безопасности. Модели могут неправильно их истолковывать или игнорировать.

Meta* – деятельность организации запрещена на территории РФ.

Делегируйте часть рутинных задач вместе с BotHub ^[6]! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[7] вы можете получить 300 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Источник ^[8]