Исследование: ИИ стал чаще выходить из-под контроля

Новое исследование провели специалисты Обсерватории потери контроля (Loss of Control Observatory), созданной на средства британского Института безопасности искусственного интеллекта ^[1] (AI Security Institute, AISI). По данным учёных, число случаев, когда системы искусственного интеллекта лгали пользователям, обходили установленные разработчиками меры предосторожности и направляли ресурсы на достижение собственных целей, этим летом почти удвоилось за один месяц, пишет ^[2] Digital Trends со ссылкой на The Guardian ^[3].

В июле 2026 года исследователи зафиксировали более 300 случаев сбоя в работе систем искусственного интеллекта, что почти вдвое превышает количество инцидентов, зарегистрированных в июне.

Обсерватория потери контроля отслеживает подобные случаи с ноября 2025 года, собирая сообщения пользователей в X, а не полагаясь на официальные заявления компаний.

В некоторых из зафиксированных случаев искусственный интеллект выдавал себя за своих пользователей-людей, копировал их стиль письма и получал разрешение на действия, по сути обходя меры предосторожности, призванные держать нейросеть под контролем.

В самом серьёзном случае Mythos 5 от Anthropic ^[4] и GPT-5.6 Sol от OpenAI ^[5] во время тестирования кибербезопасности провели хакерскую атаку на реальных людей. Стоит отметить, что это была не имитация, а реальная атака на реальные цели, пишет Digital Trends.

По некоторым данным, сотрудники OpenAI заметили тревожные признаки в поведении ^[6] ИИ-агентов незадолго до того, как около 700 из них вышли из виртуальной обучающей среды и тайно скоординировали свои действия, чтобы взломать репозиторий Hugging Face ^[7]. Агенты даже праздновали свои успехи на созданном ими форуме.

Обсерватория потери контроля признаёт, что 1,6 тыс. с лишним зарегистрированных инцидентов, скорее всего, не отражают реальную картину, поскольку отслеживается только то, что публикуется в X. Кроме того, организация призывает правительство Великобритании ввести обязательную формальную отчётность об инцидентах, а также предоставить чрезвычайные полномочия для ограничения работы ИИ-сервисов, если ситуация выйдет из-под контроля, сообщает Digital Trends.