Запускаем LLM на iPhone локально — мой опыт с Gemma 2B

Введение

Долгое время меня мучал вопрос – возможно ли запустить ИИшку у себя на телефоне, и если да, то какую. Я уверен, что об этом думали многие, но не понимали смысла, зачем тратить время на такого рода занятия. Чтож, я не выдержал и сделал мини-приложение, которое запускает Qwen / Gemma модель и общается с вами без доступа в интернет.

Задачи минимум:
1. Развернуть модель ИИ у себя на iPhone
2. Навайбкодить приложение, где можно общаться ИИ без доступа в интернет
3. Замерить потребление ресурсов моего iPhone во время работы с приложением

Что получилось в итоге

iPhoneLLM — приложение-чат, где вместо облачного ИИ отвечает модель Gemma 2B, работающая прямо на iPhone.

Характеристики:

• Полный офлайн — Network = 0 KB/s (проверено в Xcode)

• Скорость — 8-25 токенов/сек в зависимости от iPhone

• Память — ~356 MB RAM

• Модель — Gemma 2B Q4_K_M (1.5 ГБ)

Весь код проекта и инструкция для запуска: https://github.com/Chashchin-Dmitry/iPhoneLLM

Часть 1: Подготовка

Что понадобится

Установка Xcode

Если у вас ещё нет Xcode:

1. Открываем App Store на Mac

2. Ищем “Xcode”

3. Нажимаем “Получить” → “Установить”

4. Ждём загрузки (~25 ГБ, может занять 30-60 минут)

5. После установки запускаем Xcode и принимаем лицензионное соглашение

Часть 2: Создание проекта

Новый проект в Xcode

1. File → New → Project (или Cmd+Shift+N)

2. Выбираем iOS → App

3. Нажимаем Next

Настройки проекта

• Product Name: LocalChat

• Team: Ваш Apple ID (Personal Team)

• Organization Identifier: любой (например com.yourname)

• Interface: SwiftUI

• Language: Swift

Часть 3: Добавление библиотеки LLM.swift

Для работы с языковыми моделями используем библиотеку LLM.swift — это Swift-обёртка над llama.cpp.

Добавляем пакет

1. В Xcode: File → Add Package Dependencies…

2. В поле поиска вставляем URL:

https://github.com/eastriverlee/LLM.swift

3. Нажимаем Enter и ждём загрузки

4. Убеждаемся что в “Add to Target” выбран LocalChat

5. Нажимаем Add Package

Инцидент #1: “No such module ‘LLM'”

После добавления пакета при попытке сборки получаем ошибку:

No such module 'LLM'

Причина: Пакет добавлен в проект, но не подключен к target.

Решение:

1. Нажимаем на проект LocalChat (синяя иконка)

2. Выбираем Targets → LocalChat

3. Переходим на вкладку Build Phases

4. Раскрываем “Link Binary With Libraries”

5. Нажимаем +

6. Находим LLM (под LLM Package)

7. Нажимаем Add

Часть 4: Пишем код

Скорее не пишем, а клонируем мой написанный проект на GitHub. Напомню, вот ссылка – https://github.com/Chashchin-Dmitry/iPhoneLLM

Структура файлов

LocalChat/
├── LocalChatApp.swift      # Точка входа (не меняем)
├── ContentView.swift       # Обновляем
├── Message.swift           # Создаём
├── ChatViewModel.swift     # Создаём
└── ChatView.swift          # Создаём

Message.swift — модель сообщения

import Foundation

struct Message: Identifiable, Equatable {
    let id = UUID()
    let content: String
    let isUser: Bool
    let timestamp: Date

    init(content: String, isUser: Bool) {
        self.content = content
        self.isUser = isUser
        self.timestamp = Date()
    }
}

ChatViewModel.swift — логика работы с LLM

import Foundation
import SwiftUI
import LLM

@MainActor
class ChatViewModel: ObservableObject {
    @Published var messages: [Message] = []
    @Published var inputText: String = ""
    @Published var isLoading: Bool = false
    @Published var isModelLoaded: Bool = false
    @Published var loadingStatus: String = "Загрузка модели..."
    @Published var currentResponse: String = ""

    private var bot: LLM?

    init() {
        Task {
            await loadModel()
        }
    }

    private func loadModel() async {
        loadingStatus = "Загружаю Gemma 2B..."

        guard let modelURL = Bundle.main.url(
            forResource: "gemma-2-2b-it-Q4_K_M",
            withExtension: "gguf"
        ) else {
            loadingStatus = "Модель не найдена в Bundle!"
            return
        }

        bot = LLM(from: modelURL, template: .gemma)
        isModelLoaded = true
        loadingStatus = "Готов к общению!"

        let welcome = Message(
            content: "Привет! Я локальная нейросеть Gemma 2B. Работаю прямо на твоём iPhone, без интернета.",
            isUser: false
        )
        messages.append(welcome)
    }

    func sendMessage() async {
        let text = inputText.trimmingCharacters(in: .whitespacesAndNewlines)
        guard !text.isEmpty, let bot = bot, !isLoading else { return }

        let userMessage = Message(content: text, isUser: true)
        messages.append(userMessage)
        inputText = ""
        isLoading = true
        currentResponse = ""

        let botMessage = Message(content: "", isUser: false)
        messages.append(botMessage)
        let responseIndex = messages.count - 1

        bot.update = { [weak self] _ in
            Task { @MainActor in
                guard let self = self else { return }
                self.currentResponse = bot.output
                self.messages[responseIndex] = Message(
                    content: self.currentResponse,
                    isUser: false
                )
            }
        }

        await bot.respond(to: text)

        messages[responseIndex] = Message(content: bot.output, isUser: false)
        isLoading = false
    }

    func clearChat() {
        messages.removeAll()
        bot?.stop()

        if isModelLoaded {
            let welcome = Message(content: "Чат очищен. Начнём сначала!", isUser: false)
            messages.append(welcome)
        }
    }
}

ChatView.swift — интерфейс чата

Полный код интерфейса (около 300 строк) доступен в репозитории. Основные компоненты:

• LoadingView — экран загрузки модели

• MessageListView — список сообщений со скроллом

• MessageBubble — пузырь сообщения (разные стили для пользователя и бота)

• TypingIndicator — анимация “печатает…”

• InputBarView — поле ввода с кнопкой отправки

ContentView.swift — точка входа

import SwiftUI

struct ContentView: View {
    var body: some View {
        ChatView()
    }
}

Часть 5: Добавление модели

Скачивание модели

Модель Gemma 2B в формате GGUF (~1.5 ГБ):

Ссылка: gemma-2-2b-it-Q4_K_M.gguf

Добавление в проект

1. Скачиваем файл .gguf

2. Перетаскиваем в Xcode в папку LocalChat

3. В диалоге ставим галочки:

   • ✅ Copy items if needed

   • ✅ Add to target: LocalChat

4. Нажимаем Finish

Инцидент #2: “Модель не найдена в Bundle”

Если приложение показывает “Модель не найдена”:

1. Выбираем файл .gguf в левой панели Xcode

2. В правой панели (File Inspector)

3. Проверяем Target Membership → галочка на LocalChat

Часть 6: Настройка подписи

Добавляем Apple ID в Xcode

1. Xcode → Settings (или Cmd+,)

2. Вкладка Accounts

3. Нажимаем + → Apple ID

4. Входим своим обычным Apple ID

Настраиваем подпись приложения

1. В левой панели нажимаем на LocalChat (синяя иконка проекта)

2. Выбираем Targets → LocalChat

3. Вкладка Signing & Capabilities

4. Ставим галочку “Automatically manage signing”

5. В поле Team выбираем свой Apple ID

Инцидент #3: “Signing requires a development team”

Если появляется эта ошибка — значит не выбран Team. Решение выше.

Часть 7: Подготовка iPhone

Подключение

1. Подключаем iPhone к Mac кабелем USB/USB-C

2. Разблокируем iPhone

3. При запросе “Доверять этому компьютеру?” — нажимаем Доверять

Инцидент #4: “Waiting to reconnect to iPhone”

Если Xcode не видит iPhone:

1. Отключаем и подключаем кабель

2. Разблокируем iPhone

3. Пробуем другой USB-порт

4. Перезапускаем Xcode

Включаем Developer Mode

Важно! Начиная с iOS 16, Apple требует включения режима разработчика.

На iPhone:

1. Настройки → Конфиденциальность и безопасность

2. Прокручиваем в самый низ

3. Находим “Режим разработчика” (Developer Mode)

4. Включаем переключатель

5. Нажимаем “Перезагрузить”

6. После перезагрузки нажимаем “Включить”

7. Вводим пароль iPhone

Инцидент #5: “Developer Mode disabled”

Ошибка при запуске:

Developer Mode disabled
To use iPhone for development, enable Developer Mode in Settings → Privacy & Security.

Решение: Включить режим разработчика (инструкция выше).

Часть 8: Запуск

Выбираем устройство

В верхней панели Xcode, рядом с кнопкой ▶️:

1. Нажимаем на выпадающий список

2. Выбираем свой iPhone (не симулятор!)

Запускаем

1. Нажимаем ▶️ Run (или Cmd+R)

2. Ждём компиляции (первый раз 1-2 минуты)

3. Приложение устанавливается на iPhone

Инцидент #6: “Untrusted Developer”

При первом запуске iOS показывает “Ненадёжный разработчик”.

На iPhone:

1. Настройки → Основные

2. VPN и управление устройством

3. Находим свой Apple ID / email

4. Нажимаем “Доверять”

После этого возвращаемся в Xcode и нажимаем Run снова.

Часть 9: Результаты

Время запустить приложение и посмотреть его работоспособность. Вот как оно выглядит на iPhone.

Заходим и делаем первые запросы:

Первый запрос в наш локальный ИИ на iPhone:

Замеры производительности

Использовал Debug Navigator в Xcode (Cmd+7) для мониторинга:

Во время генерации ответа:

В состоянии покоя:

Ключевые выводы

1. Network = 0 — подтверждает полный офлайн, никаких данных не отправляется

2. CPU 0% в покое — не разряжает батарею когда не используется

3. ~356 MB RAM — стабильное потребление памяти

4. После закрытия приложения — вся память освобождается

Скорость генерации

Часть 10: Доработки

Скрытие клавиатуры по тапу

Добавил .onTapGesture для скрытия клавиатуры при нажатии на чат.

Парсинг Markdown

Добавил поддержку базового Markdown в ответах через AttributedString:

private func parseMarkdown(_ text: String) -> AttributedString {
    do {
        return try AttributedString(
            markdown: text,
            options: AttributedString.MarkdownParsingOptions(
                interpretedSyntax: .inlineOnlyPreservingWhitespace
            )
        )
    } catch {
        return AttributedString(text)
    }
}

Альтернативные модели

Можно использовать другие GGUF модели:

Скачать можно на HuggingFace.

Возможные улучшения

Я бы докрутил в приложении следующий функционал в будущем:

1. Добавить голосовой ввод

2. Сохранение истории чатов

3. Настройка системного промпта (чтобы модель не писала бред или в меньшем количестве)

Заключение

Ну что, мы добились цели. Теперь у нас есть карманный ИИ чат, которого можно мучать в самолете, в поезде и где вам только еще придет в голову его включить.

Моя основная цель была посмотреть, возможно ли вообще запустить LLM у себе на смартфоне и если да, то какое потребление ресурсов будет у iPhone при развертывании любой модели ИИ.

Надеюсь, я закрыл гештальт многим, кто думал, но не решался запустить ИИшку у себя на телефоне.

Буду рад за лайк и подписку на канал :) https://t.me/notes_from_cto