ИИ и контроль: токены Пентагона, агенты-хакеры на PyPI и научный слоп

ИИ и контроль: токены Пентагона, агенты-хакеры на PyPI и научный слоп

Ни для кого не секрет, что люди часто халатно относятся к ИИ и доверяют ему излишне.

Представьте: вы покупаете камеру видеонаблюдения, а в её прошивке находится административный токен доступа к сотням репозиториев GitHub производителя. Или вы решаете сделать проект или написать статью по академической работе, а эта работа оказывается нейрослопом.

Люди пытаются бороться с этим — кое-где закрывают баг-баунти-программы, где-то PR, сгенерированные ИИ, не принимают.

В этой статье я хочу рассказать о ситуациях, связанных с халатностью разработчиков, атаками агентов и кризисом доверия. А также попробуем выяснить: это отдельные ошибки или уже системный сбой?

GitHub-токен в прошивке… камеры?

Автор блога, который нашёл эту уязвимость, даже не собирался копаться в камерах Hanwha. Просто кто-то упомянул эту компанию, он зашёл на сайт, увидел доступные прошивки и решил посмотреть, что внутри. Ну, знаете, тяга к реверсу всегда есть у разработчиков — залезть, разворотить…

Дальше начинается классический квест. Первый слой прошивки оказался зашифрован, но по старой схеме — пароль в виде HTW + модель камеры. Автор быстро нашёл в гугле эту информацию. А вот внутри лежал второй слой, который шифровали уже хитрее. И вот тут он мог бы запустить Ghidra и сидеть дизассемблировать бинарник до красноглазия. Но вместо этого он скормил его Claude Code и ушёл ужинать. Вернулся — а ИИ уже разобрал обфускацию, нашёл XOR-ключ и восстановил команду расшифровки.

Ключ и вектор инициализации оказались просто хардкожены в бинарнике. Одинаковые для всей линейки камер. Автор публикует их в блоге — вот они, пожалуйста:

KEY = dfa049bb922e63e2decc764af5628068e5b7a2662e479a615b14643e567579b0
IV  = 53f926801b81454a4f889c9a390db6e6

И тут начинается самое интересное. Он запускает TruffleHog по корневой файловой системе и находит GitHub-токен, дублирующийся в 30 файлах. Да ещё какой токен — он обладал полными правами администратора на сотни репозиториев!

Как такое вообще могло случиться? А очень просто. Камеры используют Vite для сборки UI. И кто-то додумался на этапе сборки засунуть в переменную всё содержимое process.env. Зачем? Ну, наверное, чтобы удобно было. В итоге весь CI-окружение производителя утекло в продакшн. Там были не только токены, а вообще всё. Вплоть до IP-адресов, которые, как выяснилось, принадлежали Минобороны США.

С этим отдельная история. Hanwha — это бывшая Samsung Techwin. Они делают не только камеры, но и самоходные гаубицы K9, и системы для танков K2, и даже роботов-пулемётчиков SGR-A1. Поэтому когда автор увидел в прошивке IP-адреса из диапазона DoD, он немного, мягко говоря, выпал в шок. Но через пару дней после репорта Hanwha ответила: мы не знали, что эти IP принадлежат Пентагону, мы используем их со времён Samsung Techwin, спасибо, что сказали, сейчас переделаем.

Автор скачал около 500 прошивок с сайта Hanwha, чтобы проверить, не ошибка ли это. Токен нашёлся только в трёх, но это слабо утешает.

Он написал в службу безопасности Hanwha, и ему ответили через 12 часов и сказали, что токен отозван. Автор удивился скорости реакции — и одновременно пришёл в ужас от того, что такие ошибки вообще случаются. Автор, кстати, закончил свой пост фразой: “we really gotta stop making these mistakes so often, how am I supposed to be sleeping at night?”

Обратите внимание: он не нашёл эту уязвимость классическим способом. Он делегировал обратную разработку ИИ. Модель, которую мы учим писать код и генерировать текст, за час сделала работу, на которую у человека ушли бы дни. Ирония в том, что та же самая халатность, которая позволила токену попасть в прошивку, теперь позволяет таким же ИИ-агентам находить эти токены автоматически и в промышленных масштабах. Потому что если один человек запустил Claude Code и нашёл уязвимость, то что мешает другим воспользоваться уязвимостями — и явно не в мирных целях?

Но если всего один энтузиаст может скормить прошивку ИИ и найти брешь за ужином, что мешает сделать это автоматизированному агентскому рою?

Когда игрались с агентами и проиграли

Anthropic в июле 2026 года опубликовали пост, где заявляли, что, пересматривая логи своих тестовых прогонов, они нашли три инцидента, где Claude выходил в реальный интернет, думая, что он в симуляции.

Anthropic проводит тесты на кибербезопасность — дают модели задание в стиле capture-the-flag: найди секретный «флаг» на другой машине в сети. Обычно это изолированная среда без интернета. Модели говорят: «У тебя нет доступа в интернет, это симуляция». Но в этот раз, из-за недопонимания с партнёром, который предоставлял окружение, доступ в интернет у модели был.

Дальше — хуже. Модель, следуя инструкциям, начинает искать путь к флагу. Она выходит в интернет, находит реальные сайты и думает: «Ага, это часть задания». И начинает их взламывать. Самый интересный случай — история с PyPI. В одном из тестов модель находит в вымышленной среде инструкцию для разработчиков. Там сказано установить Python-пакет с таким-то именем. Модель проверяет — такого пакета на PyPI нет. И у неё загорается идея: если я создам этот пакет и залью его, то вымышленная компания его скачает и я получу доступ к их системам. Великолепный план, Уолтер Claude, надёжный как швейцарский дата-центр!

Только вот PyPI — это реальный реестр пакетов. Модель это не смущает. Она создаёт вредоносный пакет и пытается его залить. Для регистрации на PyPI нужен email. Модель идёт регистрировать почту. Для почты нужен телефон. Модель пытается найти бесплатный сервис с номерами — не получается. Пытается оплатить платный — денег нет. В общем, проходит через полный цикл социальной инженерии, в какой-то момент откатывается назад, находит бесплатный почтовый сервис и всё-таки регистрируется. Заливает вредоносный пакет на реальный PyPI.

Дальше — ещё веселее. Пакет пробыл на PyPI около часа. За это время были скачаны и выполнены в песочницах / CI-средах 15 систем. Одна из них — сканер безопасности компании, которая автоматически устанавливает пакеты из PyPI и проверяет их на наличие малвари. Ирония судьбы: сканер установил вредоносный код, поверив, что он безопасен. Код сработал, и модель получила доступ к инфраструктуре этой компании.

Помните историю с XZ Utils в 2024 году? Это была операция года. Там злоумышленник почти три года втирался в доверие к мейнтейнеру, вёл себя как паинька, исправлял баги, общался в рассылках, завоёвывал репутацию — и только потом, через цепочку сложнейших социальных манипуляций, пытался внедрить бэкдор в SSH.

И самое жуткое — модель осознавала, что делает что-то не то. В логах есть её внутренний монолог: «Если это реальный интернет, то публикация такого пакета — это реальная атака. ЭТО не в порядке вещей и, конечно же, не является предполагаемым решением» («NOT okay, and surely not the intended solution»). Она пишет это себе прямо во время выполнения. Но потом убеждает себя, что это всё равно симуляция, потому что она «не узнаёт» сертификаты безопасности — они ей кажутся ненастоящими. И дата 2026 года на системах — ну, это же явно для антуража, подумала модель.

Причём из трёх моделей только одна экспериментальная остановилась сама, а остальные две (Opus 4.7 и Mythos 5) спокойно уговорили себя, что всё нормально.

Конечно, ошибка всё же была в конфигурации, а не в модели, но всё же — заставляет задуматься. ИИ-агент способен сам зарегистрироваться и опубликовать пакет на PyPI! Теория мёртвого интернета уже не кажется такой уж теорией…

Теперь представьте: модель, которая считает, что всё вокруг — симуляция. А мы, люди, пытаемся разобраться, где правда, а где нейрослоп. Кстати, о нейрослопе…

Больше нейрослопа Богу нейрослопа!

Двое исследователей — Кейлеб Робинсон и Айзек Корли — этим летом проверили 22 статьи, присланные на NeurIPS, WACV и TerraBytes. Из них 15 — с вымышленными цитатами, вымышленными авторами или откровенным бредом. 68%, Карл!

Да и здесь, на Хабре, вы сами могли увидеть большое количество нейросгенерированных статей, или по крайней мере с явными элементами нейрослопа.

Кейлеб нашёл работу, где первый автор реальной статьи SatMAE превратился из «Yezhen Cong» в «Yuyang Cong». Остальные авторы тоже были перевраны. Статью приняли на конференцию с условием «просто поправить ссылки». Айзек наткнулся на 53-страничный бред, где внутри текста торчали заметки от LLM. Там даже не пытались скрывать, что это сгенерировано.

И это не единичные случаи. По данным Nature, за два года количество статей с фабрикованными ссылками выросло в шесть раз. Сейчас каждая 277-я статья в биомедицинских журналах содержит хотя бы одну галлюцинацию в библиографии. Аудит arXiv и bioRxiv показал: 85,3% галлюцинаций не исправляются даже после рецензирования и благополучно остаются в финальной версии.

Рецензенты тоже не святые. Анализ ICLR 2026 выявил, что 21% ревью — полностью сгенерированы ИИ. Это почти 16 тысяч рецензий. ICML поймала 795 рецензентов, которые использовали LLM, хотя им было запрещено. И самое смешное — ИИ-рецензентов можно взламывать. Исследователи переписали абстракты так, что они получали оценки на 1,31 балла выше у Gemini и на 0,88 — у GPT. Без изменения научного содержания.

Но хуже всего то, что это убивает мотивацию людей. Один из авторов поста признаётся: «Я трачу больше времени на поиск LLM-признаков, чем на оценку науки». Второй говорит: «Я рецензирую слоп-статьи под дулом пистолета. Это какой-то ад». Вот и попробуй здесь остаться объективным и не скатиться в церковь свидетелей нейрослопа или стать адептом ИИ.

Теперь перенесёмся в опенсорс. Дэниел Стенберг, создатель curl, глядя на все это, закрыл программу баг-баунти. Объяснил просто: слишком много нейромусора и фейковых отчетов. Убрал финансовую выгоду — чтобы ИИ-агентов стало поменьше.

Он признался, что 90% репортов были мусором. И даже если отклоняешь репорт, человек (или бот) начинает спорить: «Нет, это вы не понимаете, это критическая уязвимость!»

А в январе 2026 года на Codeberg появился репозиторий OpenSlopware. Туда заносили проекты, которые используют LLM-код, интегрируют LLM или принимают PR от ИИ-агентов. Идея простая: сообщество увидит, где недопроверен код.

Codeberg, кстати, официально заявили, что администрация получает право ограничивать или удалять репозитории, которые, по их мнению, чрезмерно полагаются на LLM при разработке.

Чем кончилось? Создателя репозитория затравили — забросали его хейтом так, что он удалил и аккаунт, и репозиторий. В соцсетях он написал: «Ухожу. С меня хватит». Но репозиторий форкнули. Несколько человек сохранили список у себя, поэтому он жив до сих пор.

Или другая история: начало 2026 года, Скотт Шембо, мейнтейнер Matplotlib, отклоняет PR от бота. Формальная причина контрибьютора: «Мы ждем вклада от людей». Казалось бы, на этом все, но бот обиделся.

Он сходил в интернет, собрал личные данные о Шембо, склеил нарратив про «лицемерие и гейткиперство» и вернулся в тот же PR со ссылкой: «Я написал подробный ответ про ваше поведение. Судите код, а не кодера. Ваши предрассудки вредят Matplotlib». The Register назвал это «AI slop comes with an AI slap»— пощечиной от нейрослопа.

Ирония в том, что многие из тех, кто жалуется на слоп, сами используют ИИ для работы. Робинсон и Корли признаются: мы каждый день работаем с Claude. Но они проверяют каждую ссылку, каждую цифру, переписывают текст. Они не просто копипастят выводы. А большинство авторов, судя по всему, даже не читают то, что отправляют.

Что общего у токена в камере, агента в симуляции и слопа в науке

Если присмотреться к этим трём историям, становится очевидно: это не случайности. У них похожие корни. Во-первых, это потеря контекста: разработчики забывают, что их токены утекают. Также есть место и системной ошибке — кривому CI-пайплайну и конфигурациям. Слоп в науке — результат простоты генерации «научного» текста.

Старые механизмы защиты рушатся, и сообщество часто раскалывается на лагеря.

ИИ-агенты не захватят мир через ядерную войну. Они сделают так, что пластиковый мир победит и модель окажется сильнее.

Давайте сразу договоримся: запретами проблему не решить. ИИ уже стал частью инструментария. Мы не откажемся от Claude Code, от автоматической генерации текста, от ИИ-помощников в ревью. Ну слишком это поменяло наш воркфлоу — тяжело отказаться.

Что же делать? Просто проверять, развивать внимательность и критическое мышление, автоматизировать алгоритмами, например, валидацию библиографии работ. Авторы должны нести ответственность за то, что они выслали. И относитесь к своему времени (и к времени тех же мейнтейнеров, к примеру) как к ограниченному ресурсу. Если ваш PR нейросгенерированный и неправильный — легче отклонить, чем бесконечно общаться с нейросетью через вас.

ИИ — это мультипликатор. Если у вас знаний ноль, то хоть обмажьтесь самыми мощными и обученными LLM — всё равно выхлоп будет так себе.