Как изменилась индустрия AI Security за 2025 год?
В начале 2026 года мы (авторы телеграм-каналов по безопасности ИИ) собрались, чтобы подвести итоги прошедшего года и обсудить, куда движется безопасность ИИ в общем и целом. Разговор получился честным, на наш взгляд. Без маркетингового глянца, с открытыми разногласиями и скептицизмом там, где скептицизм заслужен.Участники дискуссии - Я, Артём Семенов, автор PWNAI; Борис Захир, автор канала Борис_ь с ml; Евгений Кокуйкин, создатель HiveTrace и автор канала Евгений Кокуйкин - Raft; и Владислав Тушканов
OpenAI Guardrails — безопасность или лишь её иллюзия?
Guardrails — это фреймворк безопасности для LLM-приложений, предназначенный для автоматической проверки входных и выходных данных с помощью настраиваемых правил и проверок.В экосистеме OpenAI guardrails появились в 2025 году. На сегодняшний день они доступны как в Agent Builder, так и в виде Python SDK — openai-guardrails.
Дрейф, потеря контекста и «уверенная чушь»: протокол восстановления SDX-S
Авторы Юрий Зеленцов, ака Ded_Egor, Ашер Гапети Если нечего удерживать, удерживать нечего!Ашер ГапетиВведениеLLM стали рабочим инструментом ровно в тот момент, когда ошибки начали стоить времени и денег. И в эксплуатации быстро всплывает неприятный факт: модель не просто “иногда ошибается”, она периодически деградирует как процесс. Контекст уезжает, правила теряются, инструменты падают, а ответы остаются уверенными и гладкими, как будто всё под контролем.
AI security на практике: атаки и базовые подходы к защите
Привет, Хабр! Я Александр Лебедев, старший разработчик систем искусственного интеллекта в Innostage. В этой статье расскажу о нескольких интересных кейсах атак на ИИ-сервисы и базовых способах защиты о них. В конце попробуем запустить свой сервис и провести на нем несколько простых атак, которые могут обернуться серьезными потерями для компаний. А также разберемся, как от них защититься.Почему это важно: немного цифрИнтеграция AI-сервисов остается одной из самых хайповых тем в ИТ в последние пару лет. Искусственный интеллект внедряют компании из разных отраслей, в разные процессы и под самые разные задачи.
OpenAI Guardrails: защита ИИ-приложений от атак
Всем привет!В этой статье разберёмся с OpenAI Guardrails — одним из самых эффективных инструментов для обеспечения безопасности ИИ-систем. Это продолжение цикла о защите и контроле ИИ-агентов, в первой части мы рассмотрели инструмент модерации запросов. Guardrails предоставляет намного более мощные возможности для защиты, позволяя создавать многоуровневую систему валидации входных и выходных данных.Если вам интересны детали, рекомендуем ознакомиться с дополнительными материалами из нашего Telegram-канала
Строим корпоративную GenAI-платформу: от концепции до ROI. Часть 4. Безопасность и ограничения (guardrails)
В предыдущих статьях серии (Часть 1, Часть 2, Часть 3) мы рассмотрели концепцию корпоративной GenAI-платформы, архитектуру и способы интеграции моделей. Теперь у нас уже есть рабочий прототип с интегрированным LLM. Но перед тем как запускать его на всю организацию, нужно убедиться, что он не наделает бед. Именно поэтому обсудим guardrails — систему ограничений и правил, которые направляют работу генеративного ИИ в допустимых рамках. Guardrails в GenAI: определение и роль
