Локальные LLM на iPhone: память, Core ML, MLX и ограничения
Всем привет! Меня зовут Никита Нагорнов, я iOS‑разработчик в компании «Исходный Код». В этой статье разберем, как запускать локальные LLM на iPhone.Поговорим про:Архитектуру Apple Silicon и Unified Memory — почему не можем использовать всю доступную память;Память, квантование и KV Cache — где приложения начинают падать и как это отловить;Core ML и MLX — чем отличаются, где какой быстрее и почему нельзя всё запускать на нейронном процессоре;Температуру и троттлинг — что происходит с телефоном на длинной сессии;
Пять неправильных токенов и 245 картинок: как Krea 2 заработала на Swift и MLX
На момент снимка в локальной Gallery было 245 изображений. Пользовательские файлы в публичный репозиторий не входят.
Шесть часов на один рендер: как я собрал нативную студию Ideogram 4 на Swift и MLX
Эта картинка рисовалась на моём Mac 384 минуты 55 секунд.Quality, 48 шагов, 2048×2048 — 384 минуты 55 секунд, почти шесть с половиной часов.
«Четыре шага — и точка» Я сам придумал главное ограничение своего приложения
Пару недель назад я рассказывал здесь, как три ночи чинил рендер, который не был сломан
Картинки рвало полосами, а файлы при этом были чистыми
Три ночи я был уверен, что у меня сломан рендер.Вертикальные картинки — те самые 9:16, под обои телефона и под сторис, — на экране разъезжались горизонтальными полосами. Как будто старый телевизор поймал помехи. Квадрат рисуется нормально. Горизонталь — нормально. А вертикалку рвёт в труху.Три раза я её «починил». И все три раза чинил вообще не то.Правда оказалась дурацкой и красивой одновременно: файлы были в полном порядке. Рвало только то, как macOS показывала их на экране. Но к этому моменту я уже немного поседел.
Пишем игру-головоломку под macOS на SwiftUI [StarDust Collector]
В прошлой статье я поделился опытом, как писал с помощью ИИ кастомный TO-DO-лист под macOS. Опыт оказался противоречивым, но приложение всё-таки получилось и даже работало.Поэтому я решил добавить немного фана и реализовать мечту любого программиста — написать собственную игру. Так как у меня уже появилось небольшое понимание экосистемы десктоп-приложений под macOS и SwiftUI, я решил использовать именно её.
Apple Pro Weekly News (17.02 – 24.02.25)
Представлен iPhone 16e с первым собственным сотовым модемом от Apple и вот какие нюансы содержит в себе устройство. Вышли бета-версии iOS 18.4 и visionOS 2.4 – что нового внутри? О чём договорился Тим Кук и на какие шаги пошла компания в Великобритании и Индонезии. Утечки и слухи про грядущие iPhone 17, перспектива собственных чипов связи от Apple и планы по продуктам на весну. Лучше поздно, чем никак, погнали! Официально: iPhone 16e – всё-таки не SE4, но с собственным модемом C119 февраля, как и анонсировалось, Apple официально представила iPhone 16e (всё-таки не SE)
