27B-модель на четырёх V100 в 2026 году: форк vLLM, INT4 на Volta и контекст 262K
У нас есть четыре Tesla V100 2017 года, и на них в проде работает плотная Qwen3.8-27B с окном 262 тысячи токенов. Официальный vLLM на этих картах 4-битную модель даже не запускает. Рассказываю, на каком форке это работает, куда утекает память, что показал бенчмарк MoE против dense и почему имя модели нельзя менять никогда.Зачем вообще V100Эта модель — zubr в ZuBrIQ: единственная наша модель, запросы к которой не покидают Беларусь. Промпт, документ и ответ остаются на нашем железе в Минске. Для банков, госсектора и всех, кто работает с персональными данными, это обязательное условие, а не опция.
