Qwen и локальные нейронки на Mac mini. Зачем и почему?
Зачем мне вообще локальная нейронка? Я объясню. Значит, есть какие-то задачи, когда в мои проекты или куда-то нужно получать от различных нейронок API-ключ, в некоторых ситуациях он стоит каких-то денег за запрос. В некоторых ситуациях, допустим, если подключать API Клода или ChatGPT, например, для изготовления презентаций или PDF-файлов, это может доходить до 3$ за файл, или если 10 запросов, это может стоить и 1$. Чтобы это всё делать бесплатно, и нужна локальная нейронка. Потому что API-ключ ты можешь выдавать себе сам, получается, и не нужно использовать какие-то сторонние облачные серверы для этого.
123 миллиона параметров и один микрофон. На что способна маленькая модель распознавания речи?
Представьте: вы запускаете программу, говорите несколько слов в микрофон, а на экране практически сразу появляется текст.Всё работает. Никаких серверов, отправки аудиозаписей в облако и ожидания ответа от удалённой модели.Но есть нюанс.Короткая демонстрационная фраза и десять минут непрерывной речи — совершенно разные задачи.Меня заинтересовал именно этот разрыв. Можно ли взять относительно небольшую модель распознавания речи, запустить её локально и получить систему, которая будет успевать обрабатывать живую речь?Для эксперимента выбрал Moonshine Voice.Лунный свет?
Opera добавила в браузер поддержку WebAI для работы с ИИ‑моделями локально на ПК
Opera начала внедрение в свои браузеры поддержку WebAI для локальной работы с моделями искусственного интеллекта на ПК. Первые возможности уже доступны в Opera One, а в дальнейшем они появятся в Opera GX и Opera Neon.
Локальный вайбкодинг на ноутбуке: Ryzen 9 и RTX5070 против Qwen3-Coder
Подписки на ИИ-ассистентов для кода дорожают, лимиты режут, а код при этом уезжает на чужие серверы. Я решил проверить, можно ли вайбкодить полностью локально на обычном игровом ноутбуке. Проверять буду на Maibenben X18A с R9-8945HX и RTX 5070 на борту. Задача простая - запустить Qwen3 Coder, подключить к нему агента для программирования и посмотреть, что из этого выйдет.
OpsDeck за три недели: ИИ‑агент, который сам ходит на хосты, и ещё восемь релизов
OpsDeck за три недели: ИИ‑агент, который сам ходит на хосты, и ещё восемь релизов
Музыка и звуки для игры на RTX 5 060 Ti: где хватило референса, а где понадобилось дообучение
Для Dungeon Cult, моей игры про управление подземельем, нужны были фоновая музыка, песня для вступления и звуки существ. Основную работу удалось сделать локально на RTX 5 060 Ti с 16 ГБ памяти. Но задачи потребовали разных подходов: песне хватило аудиореференса и своего текста, а для фоновой музыки пришлось дообучить ACE‑Step.Обучение заняло 1 час 10 минут. Неожиданность оказалась в результате: последняя версия модели нравилась меньше промежуточной, хотя ошибка обучения снижалась. Дальше покажу настройки, удачные и забракованные варианты — и где генерация вообще оказалась лишней.
Техно‑аквариум в стиле адской Обители: запускаем локальную LLM Qwen 2.5 14B на домашнем ПК для интерактивного сайта
Пролог. Зачем Создатель создает? Сегодня уже никого не удивить нейросетью — из каждого утюга только о них и слышно. Хоть видео, текст, генерация кода. Уже приходится всматриваться в экран, чтобы понять: перед тобой настоящая фотография или работа ИИ. Народ и дома, и на работе вовсю позаводил себе локальные нейронки. Короче, решил и я не отставать.А зачем? Потому что могу. Или хочу узнать смогу ли. Для какой‑то самореализации, интересно пройти этот путь.
Домашний ИИ: простой способ добавить «интеллект» своему компьютеру
В этой статье мы рассмотрим открытые модели машинного обучения. Они не требуют обязательного подключения к интернету и подписки, никуда не передают ваши данные и достаточно компактные, чтобы их можно было запускать на ПК или ноутбуке. Эксперименты выполнялись на ПК с Core i5-14600, 32 ГБ DDR5 и RTX 3070Ti c 8 ГБ VRAM. Комментарии подготовлены экспертами лаборатории искусственного интеллекта российской ИТ-компании «Криптонит».Быстрый стартЕсть множество оболочек для запуска моделей: Ollama, Open WebUI, GPT4All, Unsloth Desktop,
Локальные нейросети без Python, CUDA и терминала: делаю программу, в которой всё настраивается само
Запускать нейросети у себя дома давно можно. Модели бесплатно лежат на HuggingFace, llama.cpp работает даже на старых видеокартах, ComfyUI рисует картинки. Но дорога до первого ответа у обычного человека выглядит так: поставить Python нужной версии, разобраться с CUDA, выбрать между Q4_K_M и Q5_K_S, скачать десять гигабайт и только после этого узнать, что модель отвечает по слову в секунду.
Qwen3.8. MTP и тензорный параллелизм в llama.cpp: 75 ток-сек на двух RTX 3090
Плотная 27B-модель на двух RTX 3090 в llama.cpp из коробки даёт 32 токена в секунду. Интуитивно понятно, что это не предел: две карты по 24 ГБ и 936 ГБ/с каждая не должны выдавать столько, сколько выдаёт одна. Значит, где-то узкое горлышко, и надо разобраться, что и где подкрутить. Оказалось, что горлышек несколько, и все они снимаются флагами запуска: те же веса — 75 токенов в секунду. Ниже каждый флаг описан одинаково: зачем, что писать, что даёт, где ломается. В конце — готовый docker run.Стенд: 2× RTX 3090 (24 ГБ, PCIe 4.0 x16, без NVLink), Threadripper 3960X, 121 ГБ RAM, Ubuntu 26.04, драйвер 595.71.05. llama.cpp — образ ghcr.io/ggml-org/llama.cpp:full-cuda
