6 ноября 2026 веб-студия «Флаг» провела открытую лекцию про локальные AI-модели. Спикер — Саша Андреев (t.me/andr33vru): технический директор на аутсорсе, руководит студией заказной разработки и сам гоняет модели на RTX 3090. Ведущий — Миша Радионов, «Флаг Софт».
Ниже — разбор того, о чём шла речь. Без магии и без «купите карту прямо сейчас».
Зачем вообще локальное
Облачные модели умнее. Claude, Codex и компания тянут задачи, на которые бытовая видеокарта пока не претендует. Но умность — не единственная метрика.
Подписки дорожают, лимиты съедаются за полчаса «самой умной» моделью, данные уезжают к провайдеру. Для бухгалтерии, юриспруденции, персональных данных и отраслей с ограничениями на трансграничную передачу это не абстрактный риск, а рабочее ограничение. Плюс зависимость от одного вендора: отключили — встали.
Локальная модель не заменяет Claude. Она снижает риск и забирает рутину, на которую не нужна «самая большая нейросеть в мире».
Три варианта, не два
Саша разложил внедрение на три схемы:
-
Локальной модели хватает — повторяемая нагрузка, типовые задачи, своё железо окупается.
-
Не хватает — интеллект локалки ниже порога задачи. Тогда дешёвые «бесплатные» токены на кривом результате становятся самыми дорогими.
-
Гибрид — самый частый случай: часть работы локально, часть в облаке.
Сравнивать локальное и облако «лоб в лоб» бессмысленно: разные уровни. Имеет смысл сравнивать стоимость успешно выполненной работы, а не цену токена и не цену карты.
Оговорка с лекции: «пока не справляются». Через полгода–год сетапы из «палок» могут потянуть то, что сегодня тянет только облако. Инвестиция в понимание локального инференса — не только про сегодняшнюю экономию.
Офис: не «одна модель всё понимает»
Первый кейс — обычный не-IT офис примерно на 40 человек: 1С, бухгалтерия, продажи, руководство. Рабочий день — это запросы информации, отчёты, счета, дебиторка, ЭДО, регламенты.
Картина знакомая: менеджер дёргает бухгалтера, бухгалтер тонет в выписках, руководитель хочет список должников «на сейчас». По отдельности ничего сверхсложного. В сумме — постоянный шум и потерянное время.
Идея не в том, чтобы модель «знала всё из коробки». Идея в агенте с инструментами: доступ к 1С, Битрикс24, ЭДО, внутренним регламентам. Модель не переизобретает оплату счёта каждый раз — она дёргает понятные, обычные, скучные скрипты автоматизации.
Детерминированные скрипты тестируются, масштабируются и не «размышляют» тысячный раз с шансом ошибиться. Парадигма с лекции: источник задачи → «корзина» (таск-трекер, Битрикс, Planfix, Trello — неважно) → исполнитель-агент → результат.
Та же схема у Саши в заказной разработке: баг или заявка клиента попадает в очередь, агент берёт задачу, ходит в git, коммитит, мержит, деплоит. Локальная Qwen 27B в агентском режиме — «роботяга»; более сильная облачная модель (у него часто Codex) — ревьюер. Цель — результат, а не победа локальной нейросети над облачной. «Консилиум из пяти моделей» красиво смотрится в кейсе на Хабр, бизнесу часто нужен просто обработанный документ.
Отдельно: локалка у него хорошо тянула сложный эксперимент с реверсом старой игры (даже ошибалась курьёзно — приняла конец периода за гол). Разработку конфигурации 1С — нет: контекст агентских сессий там огромный, облако сильнее. Вызвать уже написанный обработчик 1С — одно; лезть в конфигуратор и дебажить — другое. Вывод Саши: локальная модель — хороший исполнитель, но далеко не для любой задачи. ИИ не заменит инженерное мышление.
Хватит ли одной 3090 на 40 человек
На его RTX 3090 — порядка 150 токенов в секунду (на хорошем движке показывал и ~163 ток/с при большом контексте). В таком офисе одновременно обычно 2–3 запроса: кто-то с документами, кто-то с клиентом, кто-то на обеде. Задачи идут из очереди, не как вечный чат в ChatGPT.
Средний диалог в режиме чата — около 20 тыс. токенов; с заходом в 1С — около 60 тыс. У модели в его конфигурации контекст до ~262 тыс. токенов. Вывод лекции: одной бытовой карты более чем достаточно для хелпдеска такого офиса — и она конкурирует с облачными подписками именно в этом режиме.
Экономика: цифры с лекции
Экстраполяция нагрузки офиса (~2000 вызовов модели в неделю) на ~250 рабочих дней:
-
Yandex AI Studio — около 296 тыс. руб./год;
-
Cloud.ru (GigaChat) — около 267 тыс. руб./год;
-
условно 270–300 тыс. руб./год на облачные токены для такого сценария.
Его 3090 обошлась в 75 тыс. руб. На Avito на момент лекции б/у — около 120 тыс. Летом 2025 такие карты были около 55 тыс. — цены растут. При заложении 120 тыс. окупаемость выходила около пяти месяцев — только по GPU, без остального железа и электричества (в России оно относительно дешёвое; остальное железо у многих уже есть).
Саша специально тормозил «бежать в корзину»: считали капитальную затрату на карту, не полную TCO. Мерило прежнее — стоимость успешно выполненной работы. Если модель справляется и нагрузка повторяемая — своё железо экономически имеет смысл. Если нет — гибрид или облако.
Логика покупки у него личная: за 75 тысяч — «работник без выходных, без отпусков, без капризов». Сейчас жалеет, что не взял две–четыре карты. Цена этого выбора — постоянно разбираться в квантах, моделях и движках инференса.
Порядок, который он советует: сначала модель, квант и задачи → прогон той же модели в облаке у провайдера → и только потом покупка железа. Не наоборот.
Параметры и квантование без формул
Параметры (веса) — коэффициенты, как в школьном уравнении: меняешь коэффициенты — меняется результат. Чем больше параметров, тем больше «можно уложить» в модель при обучении. У его рабочей Qwen — 27 миллиардов. Обучение дорогое; то, что мы делаем на своей карте, — инференс, использование уже обученной модели.
По весам нельзя «прочитать», что внутри. На лекции был пример про закладки при обучении (триггер-фраза и утечка секретов) — человечество пока плохо умеет такое отлаживать. Практический смысл: относитесь к моделям как к чужому софту, которому нужен контур контроля.
Квантование — снизить точность хранения чисел, чтобы модель влезла в память. Аналогия с π: для бытовых расчётов хватает 3,14; для ракеты нужны десятки знаков. 27 млрд параметров в 16 битах — около 54 ГБ (в 24 ГБ 3090 не влезет). В кванте Q4 — около 13,5 ГБ, уже помещается. На бенчмарке потеря — порядка полутора пунктов. С июля 2026 Саша на этой связке закрывает повседневные задачи. Квантовать «в ноль» (π ≈ 3) нельзя — качество развалится.
Контекст — «задачка школьнику» (переписка, документы, инструкции). KV-кэш — «конспект», его тоже квантуют. Движок инференса важнее «красивой цифры в бенчмарке»: один и тот же человек на Audi A4 и на Запорожце едет по-разному. llama.cpp, Ollama, Strata и узкоспециализированные ядра (у него — megakernel под Qwen и карты с 24 ГБ) дают разную скорость; бенчмарки часто меряют на пустом контексте — в бою с забитым окном скорость падает.
Железо кроме 3090: Mac Studio с огромной общей памятью (до сотен ГБ) — дорого и тянет крупные модели; «бомж-сборка» из двух старых карт с суммарно ~44 ГБ VRAM — порядка 100 тыс. руб. на момент лекции. Инференс на CPU он считает неправильным путём для этой задачи.
Практические выводы
-
Начинайте не с карты и не с выбора модели, а с аналитики: боли, 3–4 приоритетных кейса, пилот, измерение эффекта. «Хорошо написанное ТЗ — половина успеха» и в студийной разработке, и во внедрении ИИ.
-
Агент + скрипты сильнее «одной большой модели, которая всё понимает».
-
Гибрид нормален. Локалка пишет и дёргает инструменты; сильная облачная модель или жёсткий скрипт проверяет. Контроль человеком на 40 сотрудников не масштабируется — автоматизируйте проверку.
-
Считайте результат работы, не токены и не гигабайты VRAM.
-
Локальная нейросеть — не волшебная коробка, которая заменит сотрудников. На ноябрь 2026 это серьёзный инструмент, и иногда для него достаточно потребительской видеокарты за те самые 75 тысяч (или текущую рыночную цену).
-
Перед железом — цифровой фундамент: CRM, таск-трекер, вики, мессенджер. Без этого агентам не за что цепляться. На лекции Миша коротко подтвердил это своим кейсом внедрения: «никаких агентов, пока нет фундамента».
Что было 6 ноября и куда дальше
Открытая лекция «Флага» собрала в Zoom два десятка человек в начале и больше тридцати к концу. Запись и разбор — часть цикла про то, как переводить компании на современные рельсы: быстрее, аккуратнее, с меньшей зависимостью от чужого облака.
Запись лекции: YouTube · VK Видео
Канал Миши: t.me/uralgrades
Сайт студии: flagsoft.ru
Канал Саши: t.me/andr33vru
Если тема зайдёт — продолжим: железо, кейсы, законность работы с персональными данными. Пишите в комментарии, что разобрать следующим.
Автор: radionov_me
