Защита конфиденциальных данных в облачных LLM
Как ни крути, LLM — основа ИИ-трансформации. Начать с облачных LLM — самый простой и недорогой шаг. Простота и доступность делают их идеальными для начального обучения и прототипирования. Проблема: сотрудники «сливают» в облака чувствительные данные, которые можно грубо разделить на персональные данные и коммерческую тайну.Про персональные данные и ответственность за их утечку расскажу в отдельной статье. Ниже соображения как можно проводить ИИ-трансформацию и обеспечить безопасность работы с конфиденциальными данными.
GLiNER Guard: один schema-driven энкодер вместо зоопарка LLM-гардрейлов
Эта статья - адаптация моего материала, опубликованного на Towards AI, и одновременно продолжение предыдущего поста про эволюцию GLiNER от UniNER до GLiNER 2. Там мы остановились на том, что унификация задач в одной энкодерной модели стоит точности в отдельных задачах, но даёт огромный инженерный выигрыш. Сегодня посмотрим, как тот же принцип применяется к гардрейлам в LLM-приложениях - и что из этого вышло.📄 Arxiv ·
AI Governance по‑инженерному: что должен знать архитектор
Всем привет, меня зовут Сергей Прощаев. Я Tech Lead и руководитель направления Java / Kotlin разработки в FinTech, а ещё преподаю на курсах разработки и архитектуры в OTUS. В этой статье хочу поговорить про
Guardrails для LLM на Java: как приручить промпт‑инъекции и токсичные ответы
System prompt — это просьба. Guardrails — это принуждение.1. ВведениеКогда я впервые внедрял LLM в production-сервис, схема безопасности выглядела примерно так: написать хороший system prompt, поставить галочку «мы всё предусмотрели» и жить дальше. Жизнь не дала долго наслаждаться этим спокойствием — первый же тест показал, что пользователи довольно быстро находят способы заставить модель «забыть» всё, что мы написали в системном промпте.Проблема фундаментальная: system prompt — это инструкция, которую LLM старается выполнить, но не обязан
Халява уходит из разработки Агентов
Сегодня каждый норовит написать универсального агента и объявить это революцией. Рынок переполнен поделками вроде OpenClaw и его клонов: IronClaw, ZeroClaw, MicroClaw, NullClaw, GitClaw, AstrBot, GripAi, Moltis...Все идут одной и той же дорогой: используют готовые MCP и дают агентам shell-оболочку. Да, это легко собрать. Да, весело. Можно хайпануть в соцсетях. Но это тупиковый путь.В статье разберем все грехи status quo и предложим другой подход, более требовательный к компетенциям в области разработки ПО.Если вы не знаете, что такое агент, могу порекомендовать первый раздел Пишем агента на Kotlin: KOSMOS.
Как изменилась индустрия AI Security за 2025 год?
В начале 2026 года мы (авторы телеграм-каналов по безопасности ИИ) собрались, чтобы подвести итоги прошедшего года и обсудить, куда движется безопасность ИИ в общем и целом. Разговор получился честным, на наш взгляд. Без маркетингового глянца, с открытыми разногласиями и скептицизмом там, где скептицизм заслужен.Участники дискуссии - Я, Артём Семенов, автор PWNAI; Борис Захир, автор канала Борис_ь с ml; Евгений Кокуйкин, создатель HiveTrace и автор канала Евгений Кокуйкин - Raft; и Владислав Тушканов
OpenAI Guardrails — безопасность или лишь её иллюзия?
Guardrails — это фреймворк безопасности для LLM-приложений, предназначенный для автоматической проверки входных и выходных данных с помощью настраиваемых правил и проверок.В экосистеме OpenAI guardrails появились в 2025 году. На сегодняшний день они доступны как в Agent Builder, так и в виде Python SDK — openai-guardrails.
Дрейф, потеря контекста и «уверенная чушь»: протокол восстановления SDX-S
Авторы Юрий Зеленцов, ака Ded_Egor, Ашер Гапети Если нечего удерживать, удерживать нечего!Ашер ГапетиВведениеLLM стали рабочим инструментом ровно в тот момент, когда ошибки начали стоить времени и денег. И в эксплуатации быстро всплывает неприятный факт: модель не просто “иногда ошибается”, она периодически деградирует как процесс. Контекст уезжает, правила теряются, инструменты падают, а ответы остаются уверенными и гладкими, как будто всё под контролем.
AI security на практике: атаки и базовые подходы к защите
Привет, Хабр! Я Александр Лебедев, старший разработчик систем искусственного интеллекта в Innostage. В этой статье расскажу о нескольких интересных кейсах атак на ИИ-сервисы и базовых способах защиты о них. В конце попробуем запустить свой сервис и провести на нем несколько простых атак, которые могут обернуться серьезными потерями для компаний. А также разберемся, как от них защититься.Почему это важно: немного цифрИнтеграция AI-сервисов остается одной из самых хайповых тем в ИТ в последние пару лет. Искусственный интеллект внедряют компании из разных отраслей, в разные процессы и под самые разные задачи.
OpenAI Guardrails: защита ИИ-приложений от атак
Всем привет!В этой статье разберёмся с OpenAI Guardrails — одним из самых эффективных инструментов для обеспечения безопасности ИИ-систем. Это продолжение цикла о защите и контроле ИИ-агентов, в первой части мы рассмотрели инструмент модерации запросов. Guardrails предоставляет намного более мощные возможности для защиты, позволяя создавать многоуровневую систему валидации входных и выходных данных.Если вам интересны детали, рекомендуем ознакомиться с дополнительными материалами из нашего Telegram-канала
