Токсичный контент, промпт-хакинг и защита ИИ — всё о Guardrails для LLM
Когда мы говорим о безопасности веб-приложений, у нас есть десятилетия накопленного опыта. SQL-инъекции, XSS, CSRF — всё это давно задокументировано, есть готовые инструменты защиты, best practices и целые фреймворки безопасности. Но когда в архитектуру приложения добавляется языковая модель, картина кардинально меняется.LLM — это не функция с предсказуемым поведением. Это вероятностная система, которая может быть убеждена изменить своё поведение правильно составленным текстом. И это фундаментально новый класс уязвимостей, к которому большинство разработчиков пока не готовы.
Мейнтейнеры Linux: «ИИ стал находить много реальных уязвимостей»
О поиске уязвимостей с помощью LLM заговорили давно. Но когда это делают создатели самих LLM, бывает сложно разделить факты и рекламу. Вот сейчас в Anthropic заявили
Ошибка в $5 000 на TON из-за кода, написанного нейронкой
Привет, Хабр! Наконец таки статья о том как я облажался. Точнее — как облажалась команда, но ответственность все равно моя.TL;DR: Relayer для TON-проекта писался с помощью LLM. Без документации. Без тестов. Без понимания модели угроз. В результате — потеря ~$5 000 из пула ликвидности на STON.fi. Блокчейн не взломан, DEX работает как надо. Проблема была в нашей архитектуре.Это разбор конкретной ошибки, которая стоила реальных денег. И пояснение, почему скептики с Хабра всё равно не правы — но по другой причине, чем они думают.1. Что вообще за проект
На волне хайпа: Security-аудит AI-агента Clawdbot
TL;DR: Провёл глубокий аудит безопасности популярного open-source AI-агента. Нашёл eval(), отсутствие rate limiting, и составил каталог из 50 реальных сценариев атак. Под катом — как защититься, если вы уже дали ИИ доступ к своей системе.Введение: AI-агенты захватывают мир разработки2026 год. AI-агенты перестали быть экзотикой. Теперь каждый второй разработчик использует какого-нибудь «умного помощника» с доступом к терминалу, браузеру и файловой системе.Звучит удобно. Но возникает вопрос: насколько это безопасно?Я решил это выяснить. Взял популярный open-source проект — Clawdbot
Какими будут угрозы облачным средам в 2026 году — и как это повлияет на ИБ
Привет, меня зовут Андрей, я руковожу группой обнаружения и реагирования на угрозы в Yandex Cloud. 2025 год стал беспрецедентным по тому, как развитие ИИ повлияло на индустрию, — в том числе и в сфере информационной безопасности. Но спектр всех угроз облачной инфраструктуре не ограничивается только этим фактором. В этой статье вместе с моими коллегами попробовали проанализировать тренды прошлого года, и сделать прогноз на 2026-й: каким в этом году будет облачный ландшафт безопасности.Сюрпризы ушедшего года Каким год был для нас. За первое полугодие в 2025 года мы
AI-безопасность: зачем нужен слой на C рядом с Python-детекторами
AI Security Gold RushСейчас каждый делает решения для безопасности AI.Последний год я анализировал разные решения и вот к какому выводу я пришёл:Они все поразительно похожи:Написаны на PythonML-классификаторы для детекцииREST API обёртка50-200мс задержкаДесятки зависимостейОблачный деплойИ вот неудобная правда:Они сами становятся векторами атак.Ирония Python-решений для безопасностиКогда ваш слой безопасности:Имеет 50+ зависимостей (каждая — потенциальная CVE)Добавляет 50-200мс к каждому запросу (приглашение для DDoS)
OWASP Top 10 for Agentic Applications for 2026: Разбор главных угроз завтрашнего дня
Привет, Хабр! С вами снова Сергей Зыбнев, автор теле... а об этом позже. После нашего глубокого погружения в OWASP AI Testing Guide, пришло время заглянуть в будущее, которое наступит менее чем через месяц. Сегодня мы разберем еще один важнейший документ от OWASP, который смотрит на шаг вперед — OWASP Top 10 for Agentic Applications for 2026.
Осваиваем ML WAF: от текстовых правил к машинному обучению
Всем привет, меня зовут Семён. Я пишу на С++ и работаю в группе Антиробота. Антиробот — это сервис, который на уровне L7 защищает нас от парсеров и DDoS-атак. Разрабатывать его начали более 10 лет назад — сначала он предназначался только для защиты Поиска, затем был внутренним инструментом, который в онлайн‑режиме анализирует запросы к сервисам Яндекса. Постепенно Антиробот вырос в настоящий highload. Сейчас это часть облачного сервиса Smart Web Security (SWS).
Neuro Scale 2025: как Яндекс собирает облако будущего
24 сентября прошла конференция Yandex Neuro Scale 2025 — главное событие Yandex Cloud, собравшее более 10 000 участников онлайн и офлайн. Переименование флагманской конференции с Yandex Scale на Yandex Neuro Scale отражает стратегический поворот компании к искусственному интеллекту как ключевому драйверу развития облачных технологий. «Нейро» не случайно появилось в названии конференции — ИИ и ML находятся в фокусе крупнейших компаний и меняют подход к созданию продуктов
Grok AI: публикация системных промптов и провал в архитектуре безопасности
В августе 2025 года компания xAI неожиданно обнародовала системные промпты своего чат-бота Grok. Этот шаг был объяснён стремлением к прозрачности после инцидентов с несанкционированным извлечением инструкций через prompt injection. Однако публикация не только вызвала интерес у специалистов по ИИ, но и обнажила уязвимости в архитектуре системы.
