локальные модели. - страница 4

Как запустить Qwen3.8-27B локально на RTX3090 (Win10)

На подготовку данной пошаговой инструкции меня вдохновил пост А все-таки Qwen3.8-27B — думает меньше и быстрее чем 3.6 от @rtrgdfb. При повторении действий по скачиванию и конвертации модели из этого поста я понял, что многие технические детали сокращены или не совсем очевидны при первом знакомстве, так как автор, на мой взгляд, ставил целью донести сообщение о том, что Qwen3.8-27B стала лучше, если правильно настроить параметры для средства запуска моделей llama_server (входит в llama.cpp

продолжить чтение

753B на одной видеокарте: разбор FreeToken

Чувак из Калифорнии вряд ли запускает это все на таком ноутбуке

продолжить чтение

Мой опыт с Hermes Agent: ненависть, любовь, ненависть, любовь

Началось все с установки. Я пошёл почти по самому простому пути — установил его на Mac, в Docker. Потому что это агент, который работает автономно, и также автономно может сделать атата: выполнить rm -rf или выбраться из клетки и начать всё взламывать:)В рамках настройки я сразу выдал доступ к части файлов только на чтение, и только к Obsidian — на чтение и запись (потому что писать он в данном случае должен), но файлы были под Git.

продолжить чтение

Флешбэки адового 2020 года, который в 2026 уже не кажется таким страшным

Спойлер: нет, я не про пандемиюВсем привет! На связи Саша Петрушин, я руковожу группой разработки в центре разработки и машинного обучения компании «Инфосистемы Джет».

продолжить чтение

Google обновила справочную документацию Chrome о загрузке ИИ на устройства

Google обновила справочную документацию для браузера Chrome. Теперь в ней объясняется, на каких устройствах можно загружать модели ИИ непосредственно на устройство, что для этого требуется и как пользователи могут управлять загрузками через настройку «ИИ на устройстве».

продолжить чтение

Всё, что вы хотели знать о локальном ИИ, но стеснялись спросить

РептилоидЕсли вы когда-нибудь смотрели на HF и не понимали, что такое DFlash, квантизация и почему одна и та же модель лежит в десяти репозиториях от десяти разных людей — или давно собирались поднять LLM у себя, но всё не находили повода — выход Muse Glimmer 30B буквально лучший момент начать.

продолжить чтение

Еще один день без Le Chaton Fat

Толстый котикTL;DR.

продолжить чтение

Сколько на самом деле стоит решённая задача: считаем экономику self-hosted моделей vs API токены

Каждый раз, когда заходит разговор "что дешевле — поднять у себя открытую модель или платить за API", его почему-то ведут в ценах за токен. И почти всегда это спор не в тех единицах.Во-первых, self-hosting — это постоянные затраты, а API — переменные. Значит, ответ зависит не от цены за токен, а от того, насколько плотно вы это железо загрузите. Во-вторых, токены вообще никто не покупает как цель. Покупают решённые задачи. А модели очень по-разному тратят токены на одну и ту же задачу.

продолжить чтение

Локальная RAG-система на Go, PostgreSQL и Ollama без облачных API

продолжить чтение

А мы и не заметили, или о том, какие ИИ живут в вашем кармане

Один разработчик запустил 400B-модель на iPhone 17 Pro.

продолжить чтение