mlx.
Я дообучил маленькую нейросеть на MacBook, и она стала хуже. Честные цифры
В прошлой статье я рассказывал, как прикручивал Ollama к Lumi — это мой лаунчер в духе Spotlight, который умеет отвечать на вопросы без интернета. В конце я пообещал дообучить самую маленькую модель, lumi-mini, и показать, что получится. Добавил ещё «даже если станет хуже». Как в воду глядел.Сразу скажу: я не ML-инженер. Код пишу вместе с Claude, многое по ходу узнаю сам. Поэтому это не туториал, а скорее дневник эксперимента. Зато все ответы модели ниже настоящие, я сохранял каждый прогон.Зачем вообще
Дообучаем Gemma 26B на MacBook с 24 ГБ памяти: как устроен голосовой помощник, который работает без интернета
Полгода я собираю голосового помощника для macOS, который не просто отвечает, а выполняет действия на компьютере: открывает папки, ищет файлы, включает фильмы, читает почту. Главное условие, которое я себе поставил, — языковая модель должна работать локально, на том же Mac, без облака и подписок. В статье расскажу, из чего состоит такая система, как я дообучал модель на ноутбуке и на какие грабли наступил по дороге.Общая схемаПриложение написано на Electron. Вокруг окна работают несколько отдельных процессов:Слух — процесс на Python: детектор речи (VAD) и распознавание через Whisper в сборке под MLX (Apple Silicon).
Локальный запуск Qwen-Image-2.1 без safety checker: тест на MacBook Air с 16 ГБ памяти
Команда Qwen из Alibaba выпустила Qwen-Image-2.1 — модель для генерации и редактирования изображений на базе diffusion transformer с 7 млрд параметров, поддержкой нативного вывода до 2K и лицензией Qwen Research License. Она умеет генерировать изображения по текстовому описанию, редактировать их с использованием до десяти референсов и заметно лучше многих открытых альтернатив работает с китайским текстом. В сообществе доступны сборки без встроенного content filter: промпты, веса модели и результаты генерации при локальном запуске остаются на компьютере пользователя.
Локальный ассистент для зумов, часть 9: Nemotron от NVIDIA — почему взял и что получил
Чароит записывает мои созвоны, а после кнопки Стоп собирает стенограмму, протокол и граф встречи. Самое капризное место во всей цепочке — понять, кто что сказал. Это называется диаризацией. Ошиблась она, и решение в протоколе повисает на другом человеке.23 сентября NVIDIA выложила нейросеть, которая только этим и занимается. Через пять дней она уже работала у меня. Сейчас через неё идут оба канала звонка, очные встречи и живая лента.Что за нейросетьNemotron 3 Diarization. Веса открытые, на Hugging Face. Сто миллионов параметров, по нынешним меркам кроха: модель, которая пишет мне протоколы, больше в триста с лишним раз.
MTPLX против oMLX: одна модель, два сервера, разница в 3–6 раз
Вторая часть. Первая — «Локальный агент для кода на Mac: MTPLX + pi + Qwen3.8-27B».В первой части я посадил кодового агента pi на локальную Qwen3.8-27B через MTPLX и прогнал сложную задачу в разных режимах размышлений. Осталось сомнение, которое MTPLX сам не снимает: сколько тут даёт его многотокенное предсказание (multi-token prediction, MTP), а сколько сработало бы на любой MLX-обвязке?
Локальный ассистент для зумов, часть 8: модель, ради которой я поменял диаризацию за один вечер
В третьей части я написал, что не вижу чужой модели, ради которой стоит менять связку. sherpa-onnx на диаризации, свой второй проход поверх, канал собеседников двадцатиминутного звонка размечается минут семь. Жить можно.23 сентября NVIDIA выложила Nemotron 3 Diarization. Вечером 28-го я включил её в разбор своих созвонов. Тот же канал — три секунды.Что этоSortformer на сто миллионов параметров, до восьми голосов. На каждые 10 мс у каждого голоса своя вероятность, два голоса в одном кадре для неё норма. Старая связка решает по отпечатку куска речи. Двое говорят разом — отпечаток общий, кто-то пропадает.
Локальный агент для кода на Mac: MTPLX + pi + Qwen3.8–27B. Что реально ускоряет, а что нет
Я хотел, чтобы кодовый агент работал целиком на ноутбуке, без облака: локальная модель, локальный сервер, агент в терминале. Главная боль с самого начала — скорость. Агент постоянно перечитывает длинный контекст и много «думает», и на локальном железе это превращается в минуты ожидания на каждую задачу.
Локальные LLM на iPhone: память, Core ML, MLX и ограничения
Всем привет! Меня зовут Никита Нагорнов, я iOS‑разработчик в компании «Исходный Код». В этой статье разберем, как запускать локальные LLM на iPhone.Поговорим про:Архитектуру Apple Silicon и Unified Memory — почему не можем использовать всю доступную память;Память, квантование и KV Cache — где приложения начинают падать и как это отловить;Core ML и MLX — чем отличаются, где какой быстрее и почему нельзя всё запускать на нейронном процессоре;Температуру и троттлинг — что происходит с телефоном на длинной сессии;
Пять неправильных токенов и 245 картинок: как Krea 2 заработала на Swift и MLX
На момент снимка в локальной Gallery было 245 изображений. Пользовательские файлы в публичный репозиторий не входят.
