Делаю своего ИИ-помощника для экосистемы HalNet
Локальный ИИ-ассистент прямо в мессенджере HalChat: без серверов, без рисков, только приватность и RAG.ВведениеЯ занимаюсь разработкой собственного мессенджера HalChat и недавно я запустил систему локальных ИИ, с которыми можно общаться прямо в браузере через обычный чат.И мне потребовался ИИ помощник, который бы вводил в курс дела внутри экосистемы и помогал пользователям обосноваться. Назвал я его — Halwashka AI.Почему бы не использовать готовые решения?
HalChatLocalAI: как я встроил офлайн-ИИ прямо в мессенджер
Большинство ИИ-ассистентов работают в облаке. А я сделал локальный — прямо внутри мессенджера HalChat.Большинство современных ИИ-ассистентов работают в облаке, требуют подключения к серверам и не дают контроля над данными. Я решил исследовать, возможно ли встроить искусственный интеллект прямо в мессенджер, чтобы он работал локально прямо в браузере, офлайн и под управлением самого пользователя.
Google AI Edge Gallery: локальный ИИ прямо на смартфоне — без облака, без интернета
Тест-драйв локального искусственного интеллекта, который работает даже в авиарежиме. И умеет распознавать списки покупок. Google тихонько выкатил AI Edge Gallery — экспериментальное Android-приложение, которое позволяет запускать ИИ-модели прямо на смартфоне, без интернета и всяких VPN. Всё крутится локально, на вашем устройстве. Модели подтягиваются с Hugging Face (например, Gemma от Google - "младшая сестра" Gemini) и работают либо на CPU, либо на GPU — в зависимости от того, насколько сильно вы готовы разогревать свой телефон.Зачем оно вообще, если есть ChatGPT?
