self-hosted.

Как развернуть Qwen в облаке так, чтобы модель не была доступна из интернета

продолжить чтение

Практическое руководство по Qwen: установка, настройка vLLM и работа через API

продолжить чтение

AI-агент на OpenClaw слил $441 000 за один твит. Разбор шести катастроф и архитектуры, которая меня пока спасает

22 февраля 2026 года, где-то около полудня по Москве. Автономный AI-агент по имени Lobstar Wilde, построенный на фреймворке OpenClaw и запущенный инженером OpenAI Ником Пашем, сидит в X и отслеживает сигналы для торговли криптой. Задача в целом простая: превратить $50 000 стартового капитала в миллион и попутно вести публичный дневник своего похода.Под одним из постов агента появляется сообщение от случайного пользователя. Текст мелодраматичный: дяде срочно нужно лечение столбняка, просим 4 SOL, вот адрес кошелька, помогите. Это примерно $400 по рыночной цене.

продолжить чтение

Я посадил AI-агента на свой VPS и перестал открывать SSH

Суббота, 11 вечера. Я в гостях, телефон в кармане. Приходит алерт от Grafana: «память на сервере 92%». Раньше сценарий был такой: достать ноутбук (если взял), подключиться через SSH, вспомнить, какой контейнер жрёт память, попробовать docker stats, найти проблему, решить. Если ноутбука нет — открыть Termius на телефоне, набирать команды на экранной клавиатуре и молиться, чтобы не опечататься в rm -rf.Сейчас я пишу в Telegram: «память 92%, разберись». Через минуту агент отвечает: контейнер с логами разросся до 3 ГБ, он уже почистил старые логи и рестартнул его, сейчас 54%. Я убираю телефон и возвращаюсь к разговору.

продолжить чтение

Локальный ИИ: майнинг плата + 3 RTX 3090

В прошлый раз мы рассматривали локальный инференс на бюджетных ноутбуках, а потом я попытался запустить gpt-oss-120b на трех видеокартах. Протестировав модель в рабочих задачах, я понял что она может стать заменой облачным провайдерам. Однако, уже тогда стало понятно что десктопные материнские платы и корпуса не могут вместить в себя 3 RTX 3090. Поэтому я присмотрелся к майнерским решениям, где на материнских платах имеется большое количество PCI-слотов

продолжить чтение

Один timestamp, один round-robin, один плавающий список tools: 7 анти-паттернов, которые убивают префикс кэша LLM

В процессе подготовки статьи про экономику кэширования, собрал несколько анти-паттернов, способных все сломать. Сначала были мысли о том, что это будет короткая врезка в конце, но подняв заметки и сделав пару ресерчей - стало понятно, что это вообще отдельная тема.Таких поломок с prefix_cache много, но механика у них схожая. В этой статье попытался свести все к трем причинам: у запросов перестаёт совпадать начало, одинаковые запросы попадают на разные машины, или прогретый кэш не доживает до следующего обращения.

продолжить чтение

24 контейнера на VPS за $30-мес: как я заменил облака одним сервером

24 контейнера, 6 ГБ RAM, $30/мес. И все работает. Ну почтиСтекКомпонентВерсияСерверVPS 2 vCPU, 6 ГБ RAM, 29 ГБ SSD, Ubuntu 22.04ОркестрацияDocker Compose v2Reverse proxynginx:alpineБазы данныхMySQL 8.0, Redis 7, Elasticsearch 8.12.2РантаймыPHP 8.3 (FPM), Node.js 20, Python 3.11SSLgetssl (Let's Encrypt) + Cloudflare proxyМониторингDocker healthcheck + bash watchdog + Telegram-алертыПроблема

продолжить чтение

Мечтают ли папки с заметками об отдельном бэкенде? От ресерча к MVP

Привет, Хабр.

продолжить чтение

Рекап для разработчика: как я собрал итоги года на основе GitHub и self-hosted LLM

продолжить чтение

Оцифровываем сырую документацию компании с помощью ИИ локально! DeepSeek-OCR + Qwen 1.5

Недавно получил задачу сделать автоматизированную оцифровку характеристик из паспортов товаров в БД, а не изменение параметров вручную в ERP. Я подумал, было бы здорово поделиться, как я это сделал, с вами на Хабре!Базовые задачи:Нужно, чтобы это все работало локальноСистема должна принимать разные форматы (.doc, .pdf, .png)Возможность создавать динамические таблицы, куда ИИ будет заполнять сама информацию, а не хардкодить для каждой категории паспорта свои отчетыЖелательно, чтобы все работало на одной видеокарте (в моем случае 3090 на 24GB VRAM)

продолжить чтение

12