lora.
Три попытки обогнать в бенче базовую Gemma 4 дообучением — и все три мимо
У нас есть открытый бенчмарк https://github.com/csylabs-org/lii-sport-bench-ru для оценки русскоязычных LLM на спортивном домене — ЛИИ-Спорт-Bench-RU, 655 экспертных вопросов по 35 видам спорта. В прошлой статье мы выбрали базовую модель: Gemma 4 31B. После этого начался главный вопрос — как сделать её лучше под домен.Две недели мы пытались обогнать собственную базу. Файнтюном. Потом ещё раз файнтюном на переделанном корпусе. Потом — RAG. Все три раунда базовая версия выиграла.
Нехватка CUDA-памяти при обучении с GRPO: как перестать гадать и начать считать
Недавно я собирал для заказчика модель обучения с подкреплением с использованием GRPO и
Квантизация больших языковых моделей: FP32, BF16, INT8, NF4 и QLoRA
Большие языковые модели требуют огромных объёмов памяти. Например, модель с 8 миллиардами параметров в формате FP16 занимает 24–27 ГБ памяти только для инференса (веса, кэш ключей-значений, буферы). Для полного обучения той же модели нужно уже 84–128 ГБ памяти. Даже с такими методами, как checkpointing активаций или offloading на CPU, требования остаются высокими, особенно для моделей с 70 миллиардами параметров.
Хотел упростить мониторинг проектов и в отпуск — пришлось обучать свой LLM.Часть 3.Дистилляция
С чего всё началось
Хотел упростить мониторинг проектов и в отпуск — пришлось обучать свой LLM. Часть 2. Обучение
Продолжаем серию про файнтюнинг и создание DevOps‑агента Oni. В прошлой части
75 картинок ablation: как Reddit-критика заставила меня переосмыслить FLUX-LoRA пайплайн
TL;DR. Запустил pinock.io — бесплатную ленту AI-генерации животных в стиле советских спичечных коробков. Под капотом FLUX.2-klein + кастомная LoRA + двухпроходный «sandwich»-пайплайн. Получил детальный технический комментарий на r/StableDiffusion с двумя конкретными претензиями. Прогнал ablation: 5 вариантов × 5 категорий × 3 сида = 75 картинок. Нашёл дыры в собственном пайплайне — в том числе кириллицу в выходе LoRA (training-set leakage) и полный коллапс LoRA при scale=2.0
Как устроен Meshtastic, зачем он нужен и как я подключил его к локальной модели на ноутбуке
Я давно хотел попробовать не просто LoRa-модули как отдельные радиожелезки, а именно Meshtastic - готовую систему для обмена сообщениями без сотовой сети, Wi-Fi и интернета.Идея Meshtastic выглядит очень привлекательно: берём несколько маленьких устройств с LoRa, прошиваем их, настраиваем общий канал - и получаем автономную mesh-сеть для коротких сообщений. Без SIM-карт, без роутеров, без облаков и без базовых станций оператора.
Как дообучать локальные LLM в 2026 году: практическое руководство
В 2026 году возможность дообучения локальных LLM стала реальной опцией для отдельных разработчиков и небольших команд. Это стало возможным благодаря снижению требований к видеопамяти (VRAM), развитию инструментов и расширению набора базовых моделей с открытыми лицензиями.
Почему Cluely и другие плохо слышат русских айтишников: разбор того, как Whisper ломается и что мы сделали с этим
фото с реального собеседования нашего клиента
