Как не сломать LLM, пока защищаешь данные: под капотом Guardrails Filter
В прошлый раз я рассказывал, как работает Guardrails Filter: зачем вообще понадобился отдельный слой защиты данных при работе с LLM и какие задачи он решает.
GuardRate: как мы построили независимую арену для guardrail-моделей (часть 1)
Всем привет, на связи команда HiveTrace!Мы уделяем много времени разработке собственных моделей и часто задаемся вопросом: "какой из двух гардрейлов лучше?".Если вы когда-нибудь выбирали guardrail-модель для LLM, то знаете: одни модели блокируют безобидные запросы, другие пропускают явные угрозы. Хуже всего то, что нет прозрачного стандарта сравнения. Авторы оценивают свои решения субъективно, не публикуют методологию, а результаты замеров одних и тех же моделей на одинаковых бенчмарках в разных статьях часто отличаются.
Ускорение инференса энкодерной guard‑модели: TensorRT, Triton, vLLM, Ray Serve
Когда в системе есть узел между LLM и пользователем его скорость также важна, как и скорость самой LLM. Когда этот узел сам является моделью (и иногда даже — тоже LLM) — задача ускорения становится совсем веселой и её нужно уметь решать разными способами. В этой работе я опишу процесс ускорения guardrail‑модели — узла, которые проверяет — нет ли на входе или выходе опасного контента.
Атака на LLM, которую нельзя исправить патчем
Не так давно вопросы безопасности искусственного интеллекта считались скорее темой для научных докладов, чем реальной проблемой для бизнеса. Большинство компаний, внедрявших LLM, сосредоточились на нескольких первоочередных задачах. Они стремились как можно быстрее выпустить минимально жизнеспособный продукт. Также они подключали к нему корпоративные знания, обучали помощника отвечать клиентам и автоматизировали работу техподдержки. Вопросы безопасности при этом откладывали. Такой подход был
Как я разработал легковесный Guardrails для русского языка
Всем привет, меня зовут Максим. Я автор Telegram‑канала Максим Максимов // IT, AI. В этой статье расскажу о том, как я реализовал свою идею создать guardrails, который будет простым, работать быстро, но в то же время готовым к внедрению в производство. Поехали!СодержаниеЧто такое GuardrailsИдея lite‑guardrails Основная бизнес логикаAPI‑сервисИнтеграция с LiteLLMПанель администратораSDK для взаимодействия с сервисом
Защита конфиденциальных данных в облачных LLM
Как ни крути, LLM — основа ИИ-трансформации. Начать с облачных LLM — самый простой и недорогой шаг. Простота и доступность делают их идеальными для начального обучения и прототипирования. Проблема: сотрудники «сливают» в облака чувствительные данные, которые можно грубо разделить на персональные данные и коммерческую тайну.Про персональные данные и ответственность за их утечку расскажу в отдельной статье. Ниже соображения как можно проводить ИИ-трансформацию и обеспечить безопасность работы с конфиденциальными данными.
GLiNER Guard: один schema-driven энкодер вместо зоопарка LLM-гардрейлов
Эта статья - адаптация моего материала, опубликованного на Towards AI, и одновременно продолжение предыдущего поста про эволюцию GLiNER от UniNER до GLiNER 2. Там мы остановились на том, что унификация задач в одной энкодерной модели стоит точности в отдельных задачах, но даёт огромный инженерный выигрыш. Сегодня посмотрим, как тот же принцип применяется к гардрейлам в LLM-приложениях - и что из этого вышло.📄 Arxiv ·
AI Governance по‑инженерному: что должен знать архитектор
Всем привет, меня зовут Сергей Прощаев. Я Tech Lead и руководитель направления Java / Kotlin разработки в FinTech, а ещё преподаю на курсах разработки и архитектуры в OTUS. В этой статье хочу поговорить про
Guardrails для LLM на Java: как приручить промпт‑инъекции и токсичные ответы
System prompt — это просьба. Guardrails — это принуждение.1. ВведениеКогда я впервые внедрял LLM в production-сервис, схема безопасности выглядела примерно так: написать хороший system prompt, поставить галочку «мы всё предусмотрели» и жить дальше. Жизнь не дала долго наслаждаться этим спокойствием — первый же тест показал, что пользователи довольно быстро находят способы заставить модель «забыть» всё, что мы написали в системном промпте.Проблема фундаментальная: system prompt — это инструкция, которую LLM старается выполнить, но не обязан
Халява уходит из разработки Агентов
Сегодня каждый норовит написать универсального агента и объявить это революцией. Рынок переполнен поделками вроде OpenClaw и его клонов: IronClaw, ZeroClaw, MicroClaw, NullClaw, GitClaw, AstrBot, GripAi, Moltis...Все идут одной и той же дорогой: используют готовые MCP и дают агентам shell-оболочку. Да, это легко собрать. Да, весело. Можно хайпануть в соцсетях. Но это тупиковый путь.В статье разберем все грехи status quo и предложим другой подход, более требовательный к компетенциям в области разработки ПО.Если вы не знаете, что такое агент, могу порекомендовать первый раздел Пишем агента на Kotlin: KOSMOS.
