API принятия решений у вас в телефоне: ответ за десятки миллисекунд, без облака и без подписки (быстрый аналог Jev)
Каждый, кто делал бота поддержки или автоматизацию на языковых моделях, знает эту боль. Вы отправляете текст клиента в облачный API, ждёте, пока запрос долетит до дата-центра, отстоит очередь и вернётся, а потом ещё разбираете вежливый абзац, чтобы понять: так это жалоба или вопрос о доставке? Платите за каждый вызов. И молитесь, чтобы интернет не моргнул.Cortiq Mobile делает то же самое иначе. Модель решений лежит в памяти вашего телефона, отвечает одним JSON и не тратит время на дорогу: на реальном Android-смартфоне нативное решение занимает 13–22 миллисекунды
Запускаем множество ИИ на телефоне без интернета в новом формате CMF
Cortiq Mobile — приложение для Android и iOS (пока нет в Appstore, проходит проверку) с открытым кодом, которое запускает модели формата CMF прямо на телефоне. Сейчас производительность телефонов в некоторых случаях превышает производительность ПК поэтому небольшие LLM модели вполне можно использовать для работы. В самолёте без сети оно отвечает на вопрос, переводит письмо и разбирает текстовый файл. Дома, в доверенной сети, тот же телефон отдаёт ноутбуку локальный API или возвращает программе структурированное решение вместо чат-реплики.
Локальный анализ звонков без GPU. Что происходит на пути от аудио до резюме
Я хотел проверить не то, насколько хорошо локальная LLM пишет резюме на красивом тестовом диалоге, а что произойдет с ней на обычном телефонном звонке с музыкой, автоответчиком, перебиваниями и плохим звуком.Я сделал desktop приложение на Tauri, Rust, React и SQLite. Оно распознаёт речь, разделяет спикеров, считает тональность, эмоции и риски, а в конце локальная модель пишет резюме и рекомендации. Всё считается на компьютере, интернет нужен только чтобы скачать модели. При парсинге звонков часто бывают имена, адреса и номера договоров, и отправлять их во внешний API не хочется.
Как я несколько часов гуглил, чтобы потом за 15 минут запустить локальный DeepSeek для Python и SQL
Робот может написать симфонию?Полгода назад мне понадобился личный AI помощник (знаю...звучит слишком пафосно и мне самому это словосочетание не нравится) для работы на своем ноутбуке на Windows.
PewDiePie выложил в open source Odysseus — персональный AI-хаб для локальной работы
Блогер PewDiePie выпустил Odysseus — self-hosted AI workspace, который он позиционирует как локальную альтернативу интерфейсам ChatGPT и Claude.
AI для умного дома: что уже работает сегодня (часть 1)
В статье — не просто список инструментов, а как они сочетаются, какие подводные камни ждут при развёртывании, какие цифры можно ожидать по производительности и как обойти ограничения Llama 8B без облачных кредитов.1. Ollama — локальные LLMOllama запускает большие языковые модели на вашем сервере. Без облака, без API-ключей.Зачем в умном доме: понимание естественного языка. «Включи свет в гостиной» → модель извлекает намерение и сущность, можно передать в HA.Ресурсы:
Домашний супер-компьютер для ИИ: какой выбрать в 2025?
Всем привет!2025-й постепенно подходит к концу. А хайп вокруг искусственного интеллекта (ИИ), длящийся уже три года, заканчиваться не собирается. И вполне возможно, что именно в этом году происходит зарождение нового тренда внутри этого хайпа. Он заключается в переносе вычислительных мощностей ближе к пользователю - прямо домой, на его личную вычислительную станцию. Похоже, что большие языковые модели (LLM) и генеративный ИИ перестают быть прерогативой дата-центров.
