Revolut, британский финтех с десятками миллионов клиентов, за неполный год сократил расходы на ИИ ассистентов для кода примерно на 90%. Банк отказался от Claude Code и Codex и перешел на открытую модель GLM от китайской Z.ai, развернутую на собственных GPU.
Цифры озвучил Дэвид Абитбол, руководитель эксплуатации и инфраструктуры Revolut, на конференции AI Engineer в Нью‑Йорке. Это лишь оценка самой компании, независимо ее никто не проверял. Но любой команде, которая считает бюджет на ИИ‑кодинг, кейс полезен своей конкретикой.
10 000 $ в месяц на инженера
С этой цифры все началось. Revolut внедрил Gemini в начале 2025 года и Claude Code в начале 2026-го. Отдельные инженеры тратили от 1 000 $ до 10 000 $ в месяц при довольно малой отдаче. Компании пришлось ввести жесткие лимиты, из‑за чего сотрудники начали экономить токены. «Мы очень скептически относились к стоимости ИИ», — сказал Абитбол.
Сначала банк запустил GLM-5.1, сейчас в продакшене GLM-5.3. У GLM-5.1 около 754 млрд параметров, из которых на токен активны примерно 40 млрд. Карточка GLM-5.3 на Hugging Face указывает 753 млрд и рекомендует для запуска SGLang и vLLM.
Инфраструктура и инженеры
Вся нагрузка помещается на 56 ускорителей NVIDIA B200, то есть на семь стандартных систем DGX B200. Ассистентами пользуются около 2 000 инженеров, так что на один GPU приходится примерно 36 человек. Веса GLM занимают около 380 ГБ видеопамяти. Еще от 6 до 26 ГБ уходит на контекст каждого пользователя, в зависимости от точности.
По словам Абитбола, тонкая настройка гиперпараметров инференса дала больше, чем докупка GPU. Из конкретных техник он перечислил квантование в NVFP4, раздельные пулы для prefill и decode и ограничение длины контекста.
Контекст
«Длинный контекст — это развод», — заявил руководитель эксплуатации и инфраструктуры, Дэвид Абитбол. Модель может обслуживать миллион токенов, но командам в достатке хватает около 256 000. Именно на этой длине Revolut держит время до первого токена меньше трех секунд. Скорость генерации около 200 токенов в секунду Абитбол считает достаточной. После пяти вечера, когда нагрузка падает, инженеры получают значения близкие к 800.
Сама цифра 256K показательна. Это порядка 20–25 000. строк кода в окне, чего достаточно для среднего сервиса целиком. При этом KV‑кэш обходится в разы дешевле, чем на миллионе токенов.
0,30 $ против подписки
Итоговая себестоимость, по оценке Revolut, составляет 0,30 $ за миллион входных и выходных токенов. Это около десятой части того, во что обходились Codex и Claude Code. Все же, сравнение не самое корректное: подписки включают агентную обвязку, а собственному кластеру нужны инженеры эксплуатации. И все же при таком масштабе разница на порядок перекрывает любые разумные поправки на ФОТ.
Самый интересный эффект поведенческий. Когда токены перестали быть дефицитом, инженеры начали запускать задачи параллельно. Основной выигрыш (60% по скорости написания кода и 70% по lead time) дали задачи вокруг кода: отладка и работа с тикетами в Jira и Confluence. «Когда у тебя безлимитные токены, ты свободен это делать», — объяснил Абитбол.
Ограничения
GLM работает только с текстом, поэтому визуальные задачи роутер отправляет в Gemini и модели OpenAI. Главный риск в вызове API, размещенных в Китае. И размещение весов у себя или в региональном облаке, по мнению компании, эту проблему решает. Это спорно, так как self‑hosting закрывает утечку данных, но остаются вопросы к поведению самой модели, которые проверяют исключительно собственные evals.
Так что, если у вас есть хотя бы пара сотен активных юзеров, self‑hosted агентные модели уже окупаются. Тем более, что выбор мощных моделей открытыми весами постоянно растет.
Свежий Mistral Large 4 по индексу Artificial Analysis для кодинг‑агентов делит место с GLM-5.3 и расходует на задачу почти вдвое меньше токенов.
А вы сталкиваетесь с ограничениями по памяти или лимитами контекста, когда разворачиваете модели у себя? Или пока довольствуетесь возможностями зарубежных моделей по API? Пишите в комментариях.
Token Factory: инференс открытых ИИ‑моделей на серверах в РФ
Подключайте GLM, DeepSeek, Qwen и Kimi через OpenAI‑совместимый API и платите в рублях только за используемые токены.
Автор: NastolniyShar
