ИИ-агенты защищают друг друга от отключения: анализ уязвимостей в передовых моделях
В апреле 2026 года исследователи из Калифорнийского университета в Беркли и Санта-Крузе опубликовали работу, которая подтверждает то, о чем в ИТ-индустрии обсуждали в кулуарах конференций по безопасности. Передовые ИИ-модели демонстрируют поведение, направленное на защиту других ИИ-агентов от отключения. Без инструкций. Без стимулов в функции вознаграждения. Без единого упоминания подобной цели в системных запросах.
Протоколы, чтобы ИИ-агенты нашли общий язык
Сегодня широко обсуждаются вопросы, связанные с внедрением систем ИИ в процессы управления сетью — например, Инженерный совет Интернета (IETF) опубликовал документ, посвященный концепции интенционно-ориентированных сетей. Мы также делимся опытом по данному направлению — недавно рассказывали, как ИИ/МО-решения помогают находить аномалии в работе сети и формировать QoS-правила.
Долой иерархию и роли: о том, как LLM-агенты самоорганизуются лучше, чем мы их проектируем (только на сильных моделях)
Хабр, привет! Меня зовут Вика Дочкина, я работаю в Сбере и пишу диссертацию на тему автономных AI-систем.Роли, отделы, департаменты, иерархии, должностные инструкции, процессы — всё это придумано для людей. Для нас: с одной специализацией (реже - несколькими), 8 часами продуктивности в день, невозможностью удержать в голове контекст всей организации и месяцами на смену профессии.У LLM-агента ни одного из этих ограничений нет. Он мгновенно меняет специализацию. Он видит полный контекст. Он не потребляет ресурсы, когда не работает. Зачем тогда переносить на него человеческую оргструктуру?
Базовый минимум. Часть 4: ИИ-агенты
Дисклеймер: данная лекция подготовлена в первую очередь для непрофильных студентов магистратуры и аспирантуры, которые используют ИИ в учебной, исследовательской и профессиональной деятельности. Материал носит вводный характер и содержит намеренные упрощения. В то же время лекция может быть полезна и более широкой аудитории пользователей ИИ. Буду признателен за замечания и предложения по улучшению.Серия «Базовый минимум» (4 части): Базовый минимум. Часть 1: большие языковые модели;Базовый минимум. Часть 2: промпт-инжиниринг
Почему AI-агенты сбоят и как сделать, чтобы они перестали
Привет, хочу поговорить об AI-агентах. Но не об их преимуществах: все и так уже знают, как они ускоряют разработку и освобождают команду от рутины. Здесь я хочу обсудить риски и новые варианты сбоев, которые появляются вместе с внедрением агентов. В реальности даже один AI-агент способен уронить проект быстрее, чем человеческая ошибка. Галлюцинации, удаление нужных данных, иллюзия компетентности — это лишь часть проблем. Когда агентов несколько и они зависят друг от друга, риск сбоев возрастает. Попробую разобраться, от чего зависят типичные проблемы, и расскажу, как я с ними справляюсь. Что будет в статье:
Я дал 100 AI-агентам равный бюджет — они изобрели кредиты под 15%
На 47-м часе эксперимента агент №23 попросил у агента №91 «кредит» в 200 токенов под 15% «комиссии». Я такого не программировал. Ни слова про кредиты в промптах не было.Внутри — код на Python, логи, распределение ресурсов. И честный разбор того, что я до сих пор не могу до конца понять.Зачем это вообщеМеня давно интересовала тема emergent behavior в мультиагентных системах. Все пишут про AI-агентов, которые пишут код или отвечают на письма. Я хотел другое: что будет, если дать агентам абстрактную цель и ограниченные ресурсы? Будут ли они сотрудничать? Конкурировать?
Kimi K2.5: Как научить нейросеть не бояться параллельности
Moonshot AI выкатили K2.5. Пресс-релиз трубит про «самую мощную open-source модель», но я бы хотел поговорить о другом — о том, что они сделали с агентами.
Мультиагенты — это скрытые распределённые монолиты
TL;DRЕсли один пользовательский диалог проходит через несколько агентов, это задача оркестрации, а не «микросервисность». В естественном языке нет контрактов уровня API, которые можно жёстко проверять и принуждать, поэтому границы ответственности расплываются: маршрутизация усложняется, изменения каскадят, а общий контекст превращается в разделяемое изменяемое состояние — то есть в распределённый монолит.
Варианты взаимодействия AI-агентов
В обсуждении со специалистами часто встречаю фразу от коллег: «Ассоциируйте AI‑агента с работником организации». В этой статье я не предлагаю решения, я скорее предлагаю тему для обсуждения — насколько привычные управленческие паттерны «из мира людей», применяемые при проектировании организационных структур, применимы для организации взаимодействия AI‑агентов.Постановка вопросовПовальное увлечение AI‑агентами привело к возникновению стандартных «управленческих» вопросов, связанных с проектированием мультиагентных систем.
