Как запустить Qwen3.8-27B локально на RTX3090 (Win10)
На подготовку данной пошаговой инструкции меня вдохновил пост А все-таки Qwen3.8-27B — думает меньше и быстрее чем 3.6 от @rtrgdfb. При повторении действий по скачиванию и конвертации модели из этого поста я понял, что многие технические детали сокращены или не совсем очевидны при первом знакомстве, так как автор, на мой взгляд, ставил целью донести сообщение о том, что Qwen3.8-27B стала лучше, если правильно настроить параметры для средства запуска моделей llama_server (входит в llama.cpp
753B на одной видеокарте: разбор FreeToken
Чувак из Калифорнии вряд ли запускает это все на таком ноутбуке
Мой опыт с Hermes Agent: ненависть, любовь, ненависть, любовь
Началось все с установки. Я пошёл почти по самому простому пути — установил его на Mac, в Docker. Потому что это агент, который работает автономно, и также автономно может сделать атата: выполнить rm -rf или выбраться из клетки и начать всё взламывать:)В рамках настройки я сразу выдал доступ к части файлов только на чтение, и только к Obsidian — на чтение и запись (потому что писать он в данном случае должен), но файлы были под Git.
Флешбэки адового 2020 года, который в 2026 уже не кажется таким страшным
Спойлер: нет, я не про пандемиюВсем привет! На связи Саша Петрушин, я руковожу группой разработки в центре разработки и машинного обучения компании «Инфосистемы Джет».
Google обновила справочную документацию Chrome о загрузке ИИ на устройства
Google обновила справочную документацию для браузера Chrome. Теперь в ней объясняется, на каких устройствах можно загружать модели ИИ непосредственно на устройство, что для этого требуется и как пользователи могут управлять загрузками через настройку «ИИ на устройстве».
Сколько на самом деле стоит решённая задача: считаем экономику self-hosted моделей vs API токены
Каждый раз, когда заходит разговор "что дешевле — поднять у себя открытую модель или платить за API", его почему-то ведут в ценах за токен. И почти всегда это спор не в тех единицах.Во-первых, self-hosting — это постоянные затраты, а API — переменные. Значит, ответ зависит не от цены за токен, а от того, насколько плотно вы это железо загрузите. Во-вторых, токены вообще никто не покупает как цель. Покупают решённые задачи. А модели очень по-разному тратят токены на одну и ту же задачу.
А мы и не заметили, или о том, какие ИИ живут в вашем кармане
Один разработчик запустил 400B-модель на iPhone 17 Pro.

