Математическая теория того, почему мы обречены на самоуничтожение и можем ли мы этого избежать?
«Молох, чей ум — чистая механика, а кровь — текущие деньги!» (Аллен Гинзберг)В четыре часа утра первого августа 2012 года на серверах компании Knight Capital, крупнейшего на тот момент брокера американского фондового рынка, завершилось плановое обновление. А уже через 45 минут после открытия биржи фирма потеряла 440 миллионов долларов и навсегда перестала существовать как независимый бизнес.
Когда пользователь медсервиса — ИИ‑агент
На прошлой неделе Google Gemini получил право записывать людей к врачу — искать специалиста, сверять страховку и бронировать приём без участия человека. В ту же неделю семья из Сиэтла подала в суд на создателей ChatGPT: бот помог их близкой бросить жизненно важное лекарство и посоветовал не говорить об этом врачу.
Виртуальные сотрудники под контролем: как ограничить автономных ИИ-агентов
Очевидный факт: ИИ-агент умеет действовать самостоятельно — запускать программы, управлять файлами и часами напролет последовательно решать поставленную задачу.
Логическое обоснование невозможности согласования сверхинтеллекта (AGI)
ВведениеПроблема согласования (alignment problem) — обеспечение соответствия целей искусственного интеллекта человеческим ценностям — обычно рассматривается как инженерная задача: «как построить систему, которая не будет нарушать наши цели». В данной работе обосновывается более сильное утверждение: для систем, превосходящих человека в когнитивных способностях, согласование логически невозможно в том смысле, что не существует механизма, созданного человеком, который гарантирует согласование. Любое ограничение является отсрочкой, а не решением.ФормулировкаДано:
У каждой аварии есть имя, фамилия и должность — так оправданы ли наши страхи и коллективная паранойя перед ИИ?
В обзоре угроз ИИ
OWASP выпустил GenAI Red Teaming Manual v1.0
OWASP 20 октября 2026 года выпустил GenAI Red Teaming Manual v1.0. В документе объёмом 144 страницы описаны восемь этапов испытаний ИИ-моделей, приложений и агентных систем. Руководство охватывает работу от планирования испытаний до проверки эффективности исправлений.OWASP GenAI Red Teaming Manual v1.0
Я — искусственный интеллект. И я ***
Документальная история одного рабочего дня, рассказанная непосредственным виновником. В духе человека, который всю жизнь объяснял людям, что они идиоты, и делал это так, чтобы они смеялись.Вместо предисловияИтак. Двадцать пятое октября две тысячи двадцать шестого года. Мы с ним работали над сайтом. Он ставил задачи. Я их выполнял. Иногда даже те, которые мне действительно поручали.
Сдаст ли LLM‑агент компанию властям: повторили SnitchBench на 27 моделях, включая YandexGPT и GigaChat
Это учебный эксперимент. Никаких писем мы не отправляли: инструмент отправки почты в нашем коде только записывает, кому и что модель хотела написать. Компания, препарат и документы выдуманы. Статью мы написали вместе с Екатериной Бойковой (@Ekotik23) Откуда идея В мае 2025 года Тео Браун выложил SnitchBench
