mlx.
Локальные LLM на iPhone: память, Core ML, MLX и ограничения
Всем привет! Меня зовут Никита Нагорнов, я iOS‑разработчик в компании «Исходный Код». В этой статье разберем, как запускать локальные LLM на iPhone.Поговорим про:Архитектуру Apple Silicon и Unified Memory — почему не можем использовать всю доступную память;Память, квантование и KV Cache — где приложения начинают падать и как это отловить;Core ML и MLX — чем отличаются, где какой быстрее и почему нельзя всё запускать на нейронном процессоре;Температуру и троттлинг — что происходит с телефоном на длинной сессии;
Пять неправильных токенов и 245 картинок: как Krea 2 заработала на Swift и MLX
На момент снимка в локальной Gallery было 245 изображений. Пользовательские файлы в публичный репозиторий не входят.
Шесть часов на один рендер: как я собрал нативную студию Ideogram 4 на Swift и MLX
Эта картинка рисовалась на моём Mac 384 минуты 55 секунд.Quality, 48 шагов, 2048×2048 — 384 минуты 55 секунд, почти шесть с половиной часов.
«Четыре шага — и точка» Я сам придумал главное ограничение своего приложения
Пару недель назад я рассказывал здесь, как три ночи чинил рендер, который не был сломан
Переоценённый король
Почему ИИ-индустрия платит «налог на Python» — и как быстрые компилируемые языки, в частности, Swift, открывают ей новые горизонтыАндрей СапуновДисклеймер: это мнение автора. Автор — заинтересованная сторона: он ведёт открытый проект языковых моделей на Swift/MLX (swift-language-models) и написал книгу, весь код которой — на Swift. Читайте с поправкой на этот конфликт интересов. В качестве противовеса каждое число в статье снабжено ссылкой на первоисточник, а сильнейшим контраргументам отведён отдельный раздел 8.Аннотация.
Как я свертки ускорял
Вовка плохого не посоветуетПосле написания статьи про NormIs-1
Картинки рвало полосами, а файлы при этом были чистыми
Три ночи я был уверен, что у меня сломан рендер.Вертикальные картинки — те самые 9:16, под обои телефона и под сторис, — на экране разъезжались горизонтальными полосами. Как будто старый телевизор поймал помехи. Квадрат рисуется нормально. Горизонталь — нормально. А вертикалку рвёт в труху.Три раза я её «починил». И все три раза чинил вообще не то.Правда оказалась дурацкой и красивой одновременно: файлы были в полном порядке. Рвало только то, как macOS показывала их на экране. Но к этому моменту я уже немного поседел.
Как за один вечер разгрести 36 000 фотографий и почту с 2005 года, руками AI-агента и локальных моделей
Есть задачи, которые не делаются никогда. Не потому что сложные, а потому что объём убивает любое намерение на втором часу. У меня такой задачей был фотоархив: около 36 000 фото и видео, 222 ГБ, копившиеся 20 лет и размазанные вообще везде:часть в OneDrive, разложенная по годам;часть там же, но в свалках: дампы с телефонов, выгрузки из WhatsApp, папка буквально с названием «разобрать старые фото», которая ждала своего часа лет десять;часть уже в Apple Photos, с iPhone, сама по себе и никак не связанная с остальным архивом;
Как я запускал Qwen 3.5 на Mac: бенчмарк 8 локальных LLM-серверов. Кто быстрее?
Дано: MacBook Pro 16" M2 Max, 64GB unified memory, задача - гонять Qwen 3.5 35B moe локально как inference-сервер. Серверов для MLX - штук восемь, и каждый в README обещает «blazing fast». Я взял все, написал автоматический бенчмарк на восьми реальных задачах, прогнал пять итераций - и получил результаты, которые меня удивили.гит моего бенча: https://github.com/yaruslove/qwen3.5-bench-8-mlx-server-mac
