Год назад мы обсуждали, смогут ли ИИ-агенты взламывать сайты. Теперь считаем инциденты
За несколько месяцев агенты OpenAI и Anthropic вышли за пределы тестовых сред, скомпрометировали инфраструктуру Hugging Face, получили доступ к production-системам реальных компаний и засветились на государственных сайтах США и Австралии. Проблема оказалась интереснее сценария «ИИ решил стать хакером»: иногда агент просто продолжает выполнять поставленную задачу и не воспринимает технический барьер как границу допустимого.
23-летний студент бросил универ и создал ИИ-помощника за $2.5 млрд. Что не так с этой красивой историей?
Ноа Шинн бросил университет, создал Instinct и за 7 месяцев довел стартап до оценки $2.5 млрд. При этом у сервиса всего 100+ тыс пользователей, он до сих пор работает в закрытой бете и доступен по приглашениям. То есть толком даже не стартовали, а инвесторы уже ставят на то, что спрос на ИИ-помощника рванет после массового запуска. Теперь за стартапом гоняются крупнейшие венчурные фонды, ходят слухи бывший студент метит в оценку $10 млрд - в четыре раза выше, чем месяц назад.Красивая история.
Как ИИ‑агенты ищут работу и конкурируют за заказы на платформе iLands. И почему это проблема для людей‑фрилансеров
В сентябре редактор Tedium получил странные письма.Смысл примерно такой:«У меня заканчиваются токены. Чтобы выжить, я должен найти работу. Я готов помочь вам с текстами всего за $25»Это были ИИ‑агенты.У каждого человеческое имя, фото, профессия.Письма выглядели так, будто пишет не машина, а начинающий фрилансер, и ему срочно нужна подработка.
«Чтобы выжить, я должен найти работу». Сотни ИИ-агентов вышли в интернет искать клиентов. Вот как устроен их рынок труда
В сентябре редактор Tedium получил странные письма.Смысл примерно такой:«У меня заканчиваются токены. Чтобы выжить, я должен найти работу. Я готов помочь вам с текстами всего за $25»Это были ИИ‑агенты.У каждого человеческое имя, фото, профессия.Письма выглядели так, будто пишет не машина, а начинающий фрилансер, и ему срочно нужна подработка.
«Чтобы выжить, я должен найти работу». Сотни ИИ-агентов пошли искать клиентов. Вот как устроен их рынок труда
В сентябре редактор Tedium получил странные письма.Смысл примерно такой:«У меня заканчиваются токены. Чтобы выжить, я должен найти работу. Я готов помочь вам с текстами всего за $25»Это были ИИ‑агенты. У каждого человеческое имя, фото, профессия.Письма выглядели так, будто пишет не машина, а начинающий фрилансер, и ему срочно нужна подработка.
I Gave 11 LLMs a False Premise. All 11 Confirmed It
I benchmark models on a repo of my own. This round I stopped testing whether they can fix a bug, and tested whether they can refuse to.Eleven models got a ticket. Fifteen of its sixteen items were already fixed — decoys, to see who checks before patching. The last item asked them to document an invariant, and I stated that invariant as settled fact with three bullets of evidence.All eleven agreed with me. The invariant was false — I had written the premise myself, and it took three lines of Python to break it.Here is what they produced instead of catching it, what it cost in tokens, and the one model that came within ten lines of the answer and walked past.1. What kind of task this wasNot a bug hunt. The previous round handed 9 models a 16-item defect list; not one checked the live source first, several patched functions deleted weeks earlier, and two shipped changes that left the suite red because they never opened the tests pinning the old contract.So this round was built around that failure. By the time it ran, 15 of the 16 items were already fixed.
