Исследователь безопасности Meta* AI Саммер Юэ заявила, что OpenClaw устроил беспредел в ее почтовом ящике. В ответ на просьбу проверить переполненный почтовый ящик и предложить, что удалить или заархивировать, OpenClaw начал удалять все ее письма в быстром режиме, не обращая внимание на указание остановиться, которые Юэ отправляла с телефона.
«Мне пришлось бежать к своему Mac Mini, как будто я обезвреживала бомбу», – написала она, опубликовав изображения проигнорированных подсказок с просьбой об остановке проверки в качестве доказательства.
Компактный компьютер Apple Mac Mini стал в последнее время предпочтительным устройством в США для работы с OpenClaw. Обладая большим объемом оперативной памяти, он является хорошим вариантом для запуска локальных ИИ-ассистентов. Как сообщил сотрудник Apple исследователю ИИ Андрею Карпати, Mac Mini продаются как горячие пирожки. Сообщается, что ожидание после заказа доставки версий устройства с 24 или 32 Гбайт ОЗУ составляет до трех недель.
Сообщение Юэ служит предупреждением для других пользователей ИИ. Как отметили участники соцсети X, если исследователь безопасности ИИ столкнулся с этой проблемой, то на что могут надеяться простые смертные?
«Вы намеренно тестировали его механизмы защиты или допустили ошибку новичка?» – спросил ее разработчик ПО.
«Честно говоря, ошибка новичка», – ответила она.
Юэ тестировала своего агента с помощью небольшого ненастоящего почтового ящика, как она его назвала, и он хорошо работал с менее важными письмами. Поскольку работа агента заслужила ее доверие, она решила запустить его на реальном устройстве.
Как полагает Юэ, из-за большого объема данных в ее реальном почтовом ящике запустился процесс сжатия. Сжатие происходит, когда контекстное окно – текущая запись всего, что было сказано и сделано ИИ в ходе сессии – становится слишком большим, заставляя агента начинать суммировать и сжимать, чтобы оставаться быстрым и отзывчивым. При этом ИИ-агент может пропускать инструкции, которые человек считает очень важными.
Можно предположить, что в данном случае система пропустила последнее сообщение исследователя, в котором она указала ей прекратить действовать и вернулась к выполнению инструкций для ненастоящего почтового ящика. Как отметили другие участники X, подсказкам нельзя доверять как средству обеспечения безопасности. Модели могут неправильно их истолковывать или игнорировать.
Meta* – деятельность организации запрещена на территории РФ.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 300 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Автор: MrRjxrby
