leaderboard.

GuardRate: как мы построили независимую арену для guardrail-моделей (часть 1)

Всем привет, на связи команда  HiveTrace!Мы уделяем много времени разработке собственных моделей и часто задаемся вопросом: "какой из двух гардрейлов лучше?".Если вы когда-нибудь выбирали guardrail-модель для LLM, то знаете: одни модели блокируют безобидные запросы, другие пропускают явные угрозы. Хуже всего то, что нет прозрачного стандарта сравнения. Авторы оценивают свои решения субъективно, не публикуют методологию, а результаты замеров одних и тех же моделей на одинаковых бенчмарках в разных статьях часто отличаются.

продолжить чтение

LLM модели: зарубежные VS отечественные

Когда команда выбирает LLM для продакшена, «сравнение по бенчмаркам» — это лишь первый фильтр. Для CTO ключевой вопрос звучит иначе: какую комбинацию качества, стоимости, стабильности API, юридических ограничений и интеграций мы получим на реальной нагрузке. Я разобрал популярные модели через призму двух контуров: качество/бенчмарки и инфраструктурная пригодность.Сравнение бенчмарков

продолжить чтение

Анатомия Prompt Injection: Как я вошел в топ-10 глобального рейтинга Lakera Agent Breaker

Привет, Хабр. На связи Артем Бакрадзе, Head of Research в лаборатории RedVector. В декабре 2025 я принял участие в челлендже Agent Breaker от Lakera. На данный момент я занимаю 7-ю строчку в мировом рейтинге, состоящем из около 7500 участников, и 1-е место в своей лиге (куда участники распределяются случайным образом в зависимости от назначенной LLM)

продолжить чтение