Запускаем LLM на iPhone локально — мой опыт с Gemma 2B
ВведениеДолгое время меня мучал вопрос - возможно ли запустить ИИшку у себя на телефоне, и если да, то какую. Я уверен, что об этом думали многие, но не понимали смысла, зачем тратить время на такого рода занятия. Чтож, я не выдержал и сделал мини-приложение, которое запускает Qwen / Gemma модель и общается с вами без доступа в интернет. Задачи минимум: 1. Развернуть модель ИИ у себя на iPhone2. Навайбкодить приложение, где можно общаться ИИ без доступа в интернет 3. Замерить потребление ресурсов моего iPhone во время работы с приложениемЧто получилось в итогеiPhoneLLM
Оцифровываем сырую документацию компании с помощью ИИ локально! DeepSeek-OCR + Qwen 1.5
Недавно получил задачу сделать автоматизированную оцифровку характеристик из паспортов товаров в БД, а не изменение параметров вручную в ERP. Я подумал, было бы здорово поделиться, как я это сделал, с вами на Хабре!Базовые задачи:Нужно, чтобы это все работало локальноСистема должна принимать разные форматы (.doc, .pdf, .png)Возможность создавать динамические таблицы, куда ИИ будет заполнять сама информацию, а не хардкодить для каждой категории паспорта свои отчетыЖелательно, чтобы все работало на одной видеокарте (в моем случае 3090 на 24GB VRAM)
Делаю своего ИИ-помощника для экосистемы HalNet
Локальный ИИ-ассистент прямо в мессенджере HalChat: без серверов, без рисков, только приватность и RAG.ВведениеЯ занимаюсь разработкой собственного мессенджера HalChat и недавно я запустил систему локальных ИИ, с которыми можно общаться прямо в браузере через обычный чат.И мне потребовался ИИ помощник, который бы вводил в курс дела внутри экосистемы и помогал пользователям обосноваться. Назвал я его — Halwashka AI.Почему бы не использовать готовые решения?
HalChatLocalAI: как я встроил офлайн-ИИ прямо в мессенджер
Большинство ИИ-ассистентов работают в облаке. А я сделал локальный — прямо внутри мессенджера HalChat.Большинство современных ИИ-ассистентов работают в облаке, требуют подключения к серверам и не дают контроля над данными. Я решил исследовать, возможно ли встроить искусственный интеллект прямо в мессенджер, чтобы он работал локально прямо в браузере, офлайн и под управлением самого пользователя.
Google AI Edge Gallery: локальный ИИ прямо на смартфоне — без облака, без интернета
Тест-драйв локального искусственного интеллекта, который работает даже в авиарежиме. И умеет распознавать списки покупок. Google тихонько выкатил AI Edge Gallery — экспериментальное Android-приложение, которое позволяет запускать ИИ-модели прямо на смартфоне, без интернета и всяких VPN. Всё крутится локально, на вашем устройстве. Модели подтягиваются с Hugging Face (например, Gemma от Google - "младшая сестра" Gemini) и работают либо на CPU, либо на GPU — в зависимости от того, насколько сильно вы готовы разогревать свой телефон.Зачем оно вообще, если есть ChatGPT?
