Ускорение инференса энкодерной guard‑модели: TensorRT, Triton, vLLM, Ray Serve
Когда в системе есть узел между LLM и пользователем его скорость также важна, как и скорость самой LLM. Когда этот узел сам является моделью (и иногда даже — тоже LLM) — задача ускорения становится совсем веселой и её нужно уметь решать разными способами. В этой работе я опишу процесс ускорения guardrail‑модели — узла, которые проверяет — нет ли на входе или выходе опасного контента.
GLiNER Guard: один schema-driven энкодер вместо зоопарка LLM-гардрейлов
Эта статья - адаптация моего материала, опубликованного на Towards AI, и одновременно продолжение предыдущего поста про эволюцию GLiNER от UniNER до GLiNER 2. Там мы остановились на том, что унификация задач в одной энкодерной модели стоит точности в отдельных задачах, но даёт огромный инженерный выигрыш. Сегодня посмотрим, как тот же принцип применяется к гардрейлам в LLM-приложениях - и что из этого вышло.📄 Arxiv ·
