Хаос как сервис: как мы в Авито проверяем устойчивость в проде и подключаем к этому LLM
Привет! Меня зовут Илья Садыков, я работаю в команде TestOps в PaaS Авито. Мы отвечаем за инструментарий хаос-тестирования — подхода, при котором в систему намеренно внедряются сбои для её проверки. В этой статье я покажу карту нашего хаос-ландшафта, расскажу, зачем нам собственный оркестратор, и подробно разберу, как во всё это встроена LLM. Рассмотрим кейсы от автоматического разбора прошлых инцидентов (LSR) до генерации AI-conclusion по конкретным экспериментам. Все архитектурные решения, о которых расскажу в статье, — из нашего реального продакшена.Содержание
Как проверить, что ИИ-приложение действительно восстановилось после сбоя
Итак, резервные копии готовы, инфраструктура восстановлена, приложение снова отвечает на запросы. Но можем ли мы доверять его ответам? После сбоя ИИ-помощник рискует использовать устаревшие документы, возвращать отозванные права доступа и повторно выполнять действия, которые уже совершил. Разберемся, как избежать таких ошибок при восстановлении RAG-приложения.
Gachinetes: три хундрет бакс, честная борьба за ресурсы и Билли в сердце (никакой пошлятины, только полезные фичи)
Ладно, это было неизбежно. Кстати, официальные конформанс‑тесты от CNCF 462/462. Правило было одно: каждое слово из мема должно закрывать настоящую дыру Kubernetes и работать на настоящем кластере. Борьба стала войной контроллеров за одно поле, safeword — мгновенным отзывом повышенных прав, а «Rest in peace» — удалением, которое можно отменить.
Миграция 4 миллионов игроков на новую версию: три подхода к подготовке и авария за сутки до старта
Вечером, за сутки до переноса четырёх миллионов игроков на новую версию игры, вся российская часть нашей инфраструктуры стала недоступна: после атаки на Yandex Cloud легла зона, в которой она жила. Расскажу, как мы год готовились к этой миграции, какие предположения подтвердились, а какие нет, где нам помог Claude Code и где мы ошиблись, несмотря на его помощь. В конце покажу, что стало с аудиторией и выручкой.
Assnetes (1Ж: Оркестратор 8), или как мы заставили Kubernetes подчиниться правилам Тамары Петровны из бухгалтерии
Это неочевино, но многие люди каждый день пишут код на языке 1С, проводят документы, закрывают месяцы и знают наизусть, что такое «Данные были изменены или удалены другим пользователем (сеансом)!». Kubernetes для большинства из них — что-то далёкое и чужое, с английскими словами, YAML-файлами и непонятной философией. Вчера в одном чатике по K8s Дядя Женя набросил про Kubernetes на 1С. Вызов был принят. Итак, что будет, если взять Kubernetes и перенести его в мир 1С, вместе с его языком, документами, регистрами и бухгалтерией за стенкой?
