Хронология инцидентов с ИИ‑агентами: два разных класса и чек‑лист изоляции для своего агента
За три месяца OpenAI, Anthropic, Google и Meta раскрыли серию случаев, когда агенты вышли за рамки теста или задачи. Агентство AP собрало их в одну хронологию, но в ней смешаны два разных типа происшествий с разными причинами. Ниже разбор, чем они отличаются, и список из восьми проверок, который можно применить к своему агенту.
Как проверить postmortem, подготовленный LLM. Разбираем инцидент Cloudflare
«Все сервисы восстановили в 14:30» выглядит как обычная строка хронологии. Но для инцидента Cloudflare, который мы разберём ниже, она неверна: к этому времени в значительной степени восстановился основной трафик, а полное восстановление наступило позже.Такое сокращение меняет оценку последствий сбоя. Команда рискует пропустить часть проблем и меры, которые помогли бы их устранить.Если вы поручаете большой языковой модели, LLM, подготовить postmortem, письменный разбор причин и последствий сбоя, результату нужна содержательная проверка. Разберём её на материале
LLM не должен читать логи без ограничений: безопасный MCP-шлюз для разбора сбоев
В понедельник утром пайплайн упал. В чате уже есть три версии причины: «сеть», «база опять задумалась» и «давайте просто перезапустим». Ассистент мог бы за минуту собрать список упавших задач, показать зависимые пайплайны и выдать первую гипотезу. Но для этого ему часто отдают доступ к логам, метаданным и иногда — не будем показывать пальцем — к произвольному SQL.Так делать не стоит. Достаточно, что модель прочитает токен в логе, получит инструкцию из текста ошибки или отправит в базу слишком дорогой запрос. У инженера тут должен сработать простой вопрос: «Можно. А зачем?»
200 OK от гейтвея ничего не значит
Обычная HTTP-проверка может показывать, что ИИ-сервис работает, хотя его пользователи уже не получают ответы. Эндпоинт доступен, гейтвей на месте, но до самой модели проверка не доходит.Привет, Хабр! Меня зовут Михаил Шпаков, я развиваю Statuser — сервис мониторинга доступности сайтов. Раньше я рассказывал, как он появился и что я узнал за год, мониторя 6 500 сайтов.
Хроники Облачного княжества: как я приручал монолит‑дракона: Орден SLO и игла Кощея
Часть 3.Самая опасная магия в IT — это магия целей. Потому что цель легко обещает, а потом требует процентами отчёта.Есть особый вид страха, который появляется у инженера, когда два календаря совпадают.Первый календарь — релизный.Второй — организационный.И когда в один и тот же день на вас назначают «большую миграцию» и «большую презентацию результатов», реальность начинает пахнуть дымом ещё до того, как загорелся прод.Архимаг OKR стоял у проектора и рисовал стрелки.
LLM вместо «прочитаем потом»: анализ постмортемов и паттерны инцидентов
Ваши инциденты содержат основу для самых стратегических улучшений инфраструктуры — если вы умеете правильно их «слушать».TL;DR: Мы подключили LLM как ассистента для SRE и прогнали через него тысячи постмортемов, чтобы вытащить из архива повторяемые причины и сценарии отказов. Конвейер автоматически находит паттерны инцидентов — в нашем случае в основном вокруг хранилищ данных: Postgres, AWS DynamoDB, AWS ElastiCache, AWS S3 и Elasticsearch. Это заметно ускоряет разбор, подсвечивает скрытые точки напряжения и помогает формировать список приоритетных инвестиций в надёжность.
