lora.
Ассистент и рекурсивное самоулучшение: доучиваем нейросеть с LoRA
Часть 1: Как я создавал персонального ассистента на домашнем железеЧасть 2: Ассистент получает личность: память, сновидения и самовыражениеЧасть 3: Ассистент рисует и достраивает самого себя: метапознание и зарождение собственного замыслаВкратце.
Дообучил Qwen3.6 синтаксису 1С и проверил её на случайных вопросах: все результаты не ниже 95 %
Летом я дообучал Qwen3.6 27B на справочном материале по 1С и проверял результат субьективно на глаз: по ответам на последние добавленные объекты и доработанные методы. Позднее решил узнать точно, какие данные не усвоились при дообучении.В результате сделал нормальный тест: случайные сто вопросов из ~ 20 тысяч записей, ответы дообученной модели, два LLM-судьи и детерминированная проверка критичных полей. Всего 6 прогонов по 100 вопросов.
NER для юристов, у которых нет A100: как мы догнали Ministral 14B моделью почти в 10 раз меньше
Юристы не могут отправлять материалы дел во внешние API, а держать A100 ради одного лишь разбора документов дорого. Мы обучили Qwen2.5-1.5B извлекать сущности из судебных документов на уровне Ministral 3 14B: макро-F1 0.70 против 0.71 на 145 реальных документах. На A5000 она работает в 2.2 раза быстрее, чем Ministral на A100. Рассказываем, почему балансировка классов синтетикой не сработала и что сработало вместо неё.Всем привет! Меня зовут Даниил Шеремет, я AI-инженер в Agentic Lab. В компании делаем Агату — ИИ-ассистента и рабочую среду для юристов.
Я дообучил маленькую нейросеть на MacBook, и она стала хуже. Честные цифры
В прошлой статье я рассказывал, как прикручивал Ollama к Lumi — это мой лаунчер в духе Spotlight, который умеет отвечать на вопросы без интернета. В конце я пообещал дообучить самую маленькую модель, lumi-mini, и показать, что получится. Добавил ещё «даже если станет хуже». Как в воду глядел.Сразу скажу: я не ML-инженер. Код пишу вместе с Claude, многое по ходу узнаю сам. Поэтому это не туториал, а скорее дневник эксперимента. Зато все ответы модели ниже настоящие, я сохранял каждый прогон.Зачем вообще
Дообучаем Gemma 26B на MacBook с 24 ГБ памяти: как устроен голосовой помощник, который работает без интернета
Полгода я собираю голосового помощника для macOS, который не просто отвечает, а выполняет действия на компьютере: открывает папки, ищет файлы, включает фильмы, читает почту. Главное условие, которое я себе поставил, — языковая модель должна работать локально, на том же Mac, без облака и подписок. В статье расскажу, из чего состоит такая система, как я дообучал модель на ноутбуке и на какие грабли наступил по дороге.Общая схемаПриложение написано на Electron. Вокруг окна работают несколько отдельных процессов:Слух — процесс на Python: детектор речи (VAD) и распознавание через Whisper в сборке под MLX (Apple Silicon).
Как мы внедряли LLM в модерацию Авито
Привет! Меня зовут Руслан Сакаев, я DS-тимлид в Авито. В статье расскажу, как мы внедряли LLM в проверки объявлений и что пришлось достроить вокруг модели, чтобы решение выдержало продакшен.Статья будет полезна DS/ML-инженерам, MLOps и техническим руководителям, которые уже поняли, что LLM закрывает их задачу, но пока не знают, как обернуть это в готовое продакшн-решение.В этой статьеЗадача и ограниченияПочему LLM хорошо работает в задачах модерации
PyTorch MPS против Apple MLX: как дообучать LLM на Mac с 16 ГБ и что выбрать
Если вы хотите локально дообучать LLM на Apple Silicon, по сути есть два варианта: PyTorch MPS со стандартным стеком Hugging Face/TRL или Apple MLX — нативный фреймворк Apple. Оба поддерживают локальное дообучение с LoRA. И оба ведут себя совсем не так, как привыкли разработчики, работающие с CUDA.На обычном компьютере с 16 ГБ памяти обучение на многоходовых трейсах работы агентов для программирования очень быстро упирается в физические ограничения железа. PyTorch MPS обеспечивает высокую производительность в FP16 на небольших моделях, но по мере роста контекста довольно резко упирается в потолок по памяти.
Музыка и звуки для игры на RTX 5 060 Ti: где хватило референса, а где понадобилось дообучение
Для Dungeon Cult, моей игры про управление подземельем, нужны были фоновая музыка, песня для вступления и звуки существ. Основную работу удалось сделать локально на RTX 5 060 Ti с 16 ГБ памяти. Но задачи потребовали разных подходов: песне хватило аудиореференса и своего текста, а для фоновой музыки пришлось дообучить ACE‑Step.Обучение заняло 1 час 10 минут. Неожиданность оказалась в результате: последняя версия модели нравилась меньше промежуточной, хотя ошибка обучения снижалась. Дальше покажу настройки, удачные и забракованные варианты — и где генерация вообще оказалась лишней.
Локально ≠ безопасно: как скачанные ИИ-модели и LoRA-адаптеры крадут пароли, ключи и деньги
ПредисловиеСейчас я работаю с локальными моделями и пишу мультимодальную ИИ-студию с распределённой сетью вычислений. В процессе я всё чаще сталкиваюсь с вопросами безопасности: чем больше моделей, адаптеров и узлов оказывается в контуре, тем меньше хочется доверять им «по умолчанию». Некоторые вещи, которые я увидел и о которых читал в исследованиях, касаются не абстрактных угроз, а вполне конкретных сценариев — кражи паролей, ключей, денег и данных. Я не претендую на исчерпывающий анализ, но хочу поделиться своими мыслями и напомнить, почему локальный запуск без изоляции — это риск.
Можно ли научить маленькую LLM учиться без роста весов? Продолжение: почему повторное обучение упёрлось в потолок
В прошлой статье были только опыты. Теперь давайте расскажу подробнее: это шаги к новой архитектуре — LANN-4 и что это такое?Если короткоВ первой статье я показал несколько опытов с небольшой моделью (её размер влезает в обычную домашнюю видеокарту) вокруг одного вопроса: может ли такая модель становиться умнее со временем — не раздуваясь до огромных размеров, а за счёт памяти, аккуратного дообучения и проверки ответов. Но я тогда не сказал, ради чего всё это и что это вообще часть чего-то большего.
