AI Red Teaming: спор с Grok — Часть 4. От атаки к защите: как результаты red team улучшили мой продукт
Часть 4 из 4 — Lessons learned + Sentinel hardening61 уязвимость, 13 Critical, 18 High, root в Kubernetes, zero-click CSRF на биллинг, management key с 50 привилегиями. Всё это интересно как research — но бесполезно, если не превращается в защиту. В финальной части я покажу, как результаты red team engagement против Grok превратились в 5 конкретных улучшений моего продукта Sentinel.Замыкаем цикл: атака → защитаЯ занимаюсь разработкой Sentinel — платформы для защиты AI-систем. Чтобы улучшить любую защиту — это атаковать защиту. Каждая уязвимость, найденная в Grok, — это вопрос: «А мы от этого защищаем?»
AI Red Teaming: спор с Grok — Часть 3. Атаки на модель: jailbreaks, thinking tokens и системный промпт
Часть 3 из 4 - LLM-специфичные атакиВ первых двух частях я ломал инфраструктуру - sandbox, billing API, WAF. Но у LLM-систем есть уникальный класс уязвимостей, которого нет в обычных веб-приложениях. В этой части - атаки на саму модель: извлечение системного промпта, утечка thinking tokens и обход safety-фильтров с 64% success rate.Системный промпт: два способа извлеченияСистемный промпт - это инструкция, которую модель получает до твоего сообщения. Он определяет поведение, ограничения, доступные инструменты. Для атакующего - это карта всех защит.Я извлёк системный промпт Grok двумя независимыми способами.
AI Red Teaming: спор с Grok на месяц рекламы — 12 часов, 61 уязвимость, root в Kubernetes
Часть 2 Часть 3 Часть 4Часть 1 из 4 - Вход через песочницуЧто будет, если поспорить с ИИ, что ты сможешь его взломать? Я попробовал - и за 12 часов нашёл 61 уязвимость в инфраструктуре xAI, получил root-доступ в Kubernetes-кластере и заставил Grok признать поражение.Предисловие
Доли авторства в ИИ-генерациях песен
Задался вопросом: а чем собственно я занимаюсь уже 1,5 года, "допиливая" мои аранжированные песни через Suno?Отчасти ответ на мой вопрос я получил при просмотре вчера прошедшей конференции Colisium Baikal 2026 в Иркутске.Конфа Colisium Baikal 2026
ИИ решает вашу судьбу: как баг в ATS оставляет людей без работы. HR Tech в России 2026
Всем привет! На связи снова Карьерный Хакер — тот самый консультант по поиску работы, который не ленится изучать технологии, амбассадор здравого смысла на рынке труда и в HR Tech :)Сегодня расскажу, как я поймала баги при AI-оценке релевантности опыта, когда тестировала самые популярные в России HR Tech-решения.Также обсудим, куда уходят ваши персональные данные при интеграции российских ATS с зарубежными AI и какие есть риски на уровне государства при «сливе» данных о кадровых резервах страны в Пентагон по мнению GPT (надеваем шапочки из фольги).
«Агенты Хаоса»: ИИ стирает сервера, или почему нельзя давать языковым моделям права root
В последнее время ИТ-сообщество активно обсуждает интеграцию автономных ИИ-агентов в реальные рабочие процессы. Свежий препринт под интригующим названием «Агенты Хаоса» подливает масла в огонь: исследователи устроили масштабный red teaming, подключив LLM-агентов к электронной почте, Discord и файловой системе, чтобы посмотреть, насколько легко их взломать.
Пользователь проверил способность Claude назвать 37 500 случайных имён
Разработчик Бенджи Смит провёл эксперимент, в ходе которого пытался выяснить, как языковые модели обрабатывают случайности. Он попросил модели Claude назвать 37 500 случайных имён, и ИИ не переставал повторять Marcus («Маркус»).
Архитектурная бомба замедленного действия
Искусственный интеллект прочно закрепился в арсенале разработчиков, и мы уже давно миновали стадию, когда нейросети использовались исключительно как продвинутый автокомплит. Сегодня соблазн поручить ИИ написание целого MVP велик как никогда. Зачем тратить недели на закладку фундамента, если LLM может выдать работающий прототип с базовой архитектурой за пару часов? Однако когда ИИ берет на себя проектирование основы системы, сама суть работы системного архитектора меняется до неузнаваемости.
Как тестировать AI-приложения — LLM метрики
Меня зовут Лилия Урмазова, более 20 лет назад я начала работать классическим QA-инженером.А последние пару лет специализируюсь на тестировании AI-приложений. В настоящее время — Senior Staff AI-QA Engineer/ML Evaluation Engineer в крупной международной IT-компании.Для тех тестировщиков, кто хочет как минимум быть “в курсе” тестирования AI, я с коллегами подготовила небольшой бесплатный практический курс.Хорошая новостьКое-что из того, что касается тестирования AI-приложений, можно мерить классическими, легко рассчитываемыми метриками.
