Cursor извинилась за бота из-за придуманной пользовательской политики

Компании Cursor пришлось извиняться ^[1] за действия ИИ-агента службы поддержки «Сэма», который придумал политику, запрещающую пользователям применять инструмент редактора кода более чем на одном устройстве.

Разработчики ранее пожаловались, что переключение между устройствами мгновенно приводило к выходу из системы, нарушая рабочие процессы. Когда один из них связался со службой поддержки Cursor, то ИИ-агент заявил ему, что нововведение приняли «в рамках новой политики». Однако компания не выпускала никаких обновлений, а бот придумал новое правило сам. Это вызвало волну жалоб на Hacker News ^[2] и Reddit ^[3].

Первым забил тревогу пользователь Reddit с ником BrokenToasterOven. Он заметил, что при переключении между настольным компьютером, ноутбуком и удалённым dev box сеансы Cursor неожиданно прерывались. «Вход в Cursor на одной машине немедленно делает сеанс на любой другой недействительным», — написал он.

Пользователь отправил письмо в службу поддержки Cursor и быстро получил ответ от ИИ-агента: «Cursor разработан для работы с одним устройством на подписку в качестве основной функции безопасности». В этот момент разработчик думал, что общается с живым сотрудником поддержки. Когда он опубликовал переписку на Reddit, другие пользователи немедленно отреагировали критикой: «Рабочие процессы с несколькими устройствами — это ставки на стол для разработчиков».

Вскоре после этого несколько пользователей публично объявили об отмене подписки, сославшись на несуществующую политику в качестве причины. Вскоре после этого модераторы заблокировали ветку Reddit с обсуждением и удалили исходный пост.

«Эй! У нас нет такой политики. Конечно, вы можете использовать Cursor на нескольких машинах. К сожалению, этот неверный ответ дал бот поддержки на основе искусственного интеллекта», — написал ^[4] представитель компании три часа спустя. 

Таким образом, имел место случай конфабуляций ИИ — типа ответа для «творческого заполнения пробелов», когда модели ИИ изобретают правдоподобно звучащую, но ложную информацию. 

В Cursor уже  предприняли шаги для возмещения ущерба. Соучредитель компании Майкл Труэлл также извинился ^[5] на Hacker News за путаницу с несуществующей политикой, объяснив, что проблема возникла из-за изменения бэкенда, призванного улучшить безопасность сеанса.

«Любые ответы ИИ, используемые для поддержки по электронной почте, теперь чётко обозначены как таковые», — добавил он. 

Тем не менее, инцидент вызвал ^[6] у пользователей вопросы о раскрытии информации, поскольку многие из тех, кто взаимодействовал с ИИ-агентом, принимали его за человека. 

Хотя Cursor исправила техническую ошибку ^[7], этот эпизод демонстрирует риски развёртывания моделей ИИ в клиентских сценариях. «Есть определённая доля иронии в том, когда люди очень стараются сказать, что галлюцинации — это не самая большая проблема ИИ. А затем компания, которая могла бы извлечь выгоду из этой истории, напрямую страдает от неё», — отметил один из пользователей Hacker News.

Ранее исследователи Pillar Security обнаружили ^[8] новый вектор атак на цепочку поставок «Бэкдор файла правил» («Rules File Backdoor»). Он позволяет хакерам незаметно компрометировать код, сгенерированный ИИ, путём внедрения скрытых вредоносных инструкций в файлы конфигурации, используемые Cursor и GitHub Copilot. Используя скрытые символы unicode и сложные методы скрытия полезной нагрузки в файлах конфигурации, злоумышленники могут манипулировать ИИ, чтобы вставлять вредоносный код, который обходит типовые проверки безопасности.