Контур вокруг LLM: как AI Gateway снижает риск утечек и prompt injection
Зачем вокруг модели нужен контурСама по себе модель не отличает инструкцию от данных. Системный промпт, вопрос пользователя, абзац из базы знаний, текст страницы, которую только что притащил веб‑поиск: для неё это один поток токенов.Разметка и разделители помогают ей понять, где заканчивается задание и начинается чужой текст, и долю удачных атак это заметно сбивает. Но это подсказка, а не граница: достаточно убедительная строчка внутри данных всё равно срабатывает как команда. Из этого свойства и выросли две верхние позиции OWASP Top 10 for LLM Applications 2026:LLM01 Prompt InjectionLLM02 Sensitive Information Disclosure.
Эвалы для LLM-фич. Часть 1: зачем они нужны
Всем привет!Меня зовут Тарас Малиновский, я бэкенд‑разработчик, работаю на Go. Последний год почти целиком ушёл на проекты в сфере искусственного интеллекта: делал ассистентов, агентов, разные инструменты и навыки.Недавно участвовал в хакатоне от Podlodka AI Club — мы собирали систему памяти для агентов. Саму память реализовали довольно быстро, а вот доказать, что она реально работает, оказалось куда сложнее. На это и ушло больше всего времени.
Guardrails для LLM: как устроена защита языковых моделей
Привет, Хабр! Я Антон, инженер по информационной безопасности в Selectel.
Запустил собственный PII-фильтр перед облачными моделями и отказался от идеи селф-хостед LLM
За последние 2 месяца я протестировал RTX PRO 6000 96GB / RTX4090 48GB и даже H200, оценивая варианты для селф-хоста, купил RTX5070ti и V100 32GB и прогнал большое количество бенчей (в том числе искренне своих). Потом увидел бешеный рост цен на железо и череду утечек персональных данных к провайдерам LLM (и понимая чем это может грозить, если данные потом утекут во взломе/сливе) - начал искать актуальные варианты для себя. Нашел классный open-source вариант, настроил, переключил в enforce и считал вопрос закрытым. Перейдя чуть вперед - я ошибался, но ошибка позволила сделать прод решение и уйти от идеи полного селф-хоста к офлайн-бэкапу :)
Умеет ли Jev быть guard‑моделью для LLM?
картинка на подумать или посмеятьсяВведениеGuard модели становятся все более и более интересными. Еще 2 года назад лучшее, что мог дать опенсорс, был Wildguard
Как мы обучили детектор джейлбрейков для русскоязычных AI-агентов
Привет, Хабр! На связи команда R&D в Just AI, мы занимаемся исследованиями в области NLP и GenAI, чтобы продукты компании держали статус SOTA на рынке. В частности мы отвечаем за guard-модели и бенчмарки для продукта Jay Guard, о которых и пойдет речь в этой статье.
ИИ-агент как цифровой сотрудник: где возникают риски и как их ограничить
ИИ-ассистенты все чаще действуют от имени пользователя: работают с почтой, CRM, документами и API. Фактически это новый тип цифрового сотрудника с доступом к информации и возможностью принимать решения. Поэтому ошибка такого агента – это уже не просто неверный ответ, а реальная утечка данных, изменение записей в системе или отправка информации не тому адресату. Кроме того, в догонялки с индустрией играют регуляторная теория и практика.
Промпт не удержал медицинскую границу. Как мы добавили LLM-тренеру страж на регулярках
В 1trAIner ИИ-тренер отвечает спортсменам в чате, пишет планы и разбирает тренировки. Сервис информационный: диагнозов не ставит. В системном промпте с самого начала было правило «при боли и травме — к врачу». Мы считали вопрос закрытым, пока не начали проверять ответы на трёх языках.Ниже — как мы нашли дефект, почему промпт его не лечит и что сделали кодом. С цифрами, в том числе неудобными.Как нашли
GuardRate: метрики, бенчмарки и инсайты из первого аудита (часть 2)
В первой части мы верхнеуровнево рассмотрели результаты оценки 37 моделей, обсудили проблему оценки и сравнения guardrail моделей, рассказали, как лидерборд помогает с ней справиться, а также поделились инсайтами и руководством по использованию. Теперь пришло время заглянуть во внутреннюю кухню: в этой статье мы подробно разберем устройство GuardRate Tool и GuardRate Leaderboard, ответим на вопрос, почему выбрали именно такие бенчмарки и метрики, опишем методологию и расскажем о том, как проводились эксперименты.Архитектура: как устроен прогон
Как мы построили multilabel guardrail‑классификатор и как мы сделали его в 3 раза быстрее и дешевле
Как учесть 15 категорий риска одновременно, не потерять редкие и критичные классы, обмануть попытки обхода фильтров и не разориться на инференсе. Изображение сгенерировано с помощью seedream-5.0-pro
