Мы сжали нейросеть до 2 бит: математика рухнула с 81% до 6%. Но 27B нас удивила
Недавно мы опубликовали эксперимент, в котором удалось запустить Qwen3.8-27B целиком на RTX 5060 с 8 ГБ видеопамяти и получить около 30 токенов в секунду.Результат оказался неожиданно интересен сообществу. Но в комментариях довольно быстро появился закономерный вопрос: а насколько сильно отупела модель после такого сжатия?Вопрос справедливый. Можно поместить хоть 100 миллиардов параметров в несколько гигабайт, но если модель после этого не может решить элементарную задачу, практической пользы немного.Поэтому мы временно отложили оптимизацию скорости и занялись проверкой качества.
Чему меня научили два месяца с легковесным локальным AI-агентом
Raspberry Pi на Mac mini - оба гоняют openLight, оба маленькие, оба всегда онлайн.Когда я писал первую статью на Хабр про openLight в марте
MitM-прокси для LLM
Многие разработчики в последнее время используют облачные LLM для генерации программного кода, в том числе с помощью агентов. Но это вызывает как минимум две проблемы:Утечка информации: мы не знаем, какие данные LLM передаёт в облако
Почему большинство AI-агентов плохо работают на Raspberry Pi (и как я попытался это исправить)
Проблема: тяжёлые AI-агенты на маленьком железеПоследнее время я экспериментировал с AI-агентами на Raspberry Pi 5.И довольно быстро столкнулся с проблемой: большинство существующих агентных фреймворков оказываются слишком тяжёлыми для небольшого железа.Типичная архитектура таких решений включает:Python-фреймворкнесколько фоновых сервисовorchestration слойиногда векторную базудовольно сложную конфигурациюНа сервере это нормально работает. Но на Raspberry Pi всё начинает ощущаться иначе:долгий стартлишние зависимости
NullClaw под лупой: зачем AI-агенту Zig, маленький бинарь и быстрый запуск
Когда смотришь на современные AI-агенты, быстро замечаешь одну общую черту: почти все они живут на тяжелом стеке. Где-то это Node.js, где-то Python, где-то длинная цепочка зависимостей, сервисов и фоновых процессов. На этом фоне nullClaw выглядит почти инородно: один бинарный файл, Zig, быстрый запуск, мало занимаемой памяти и минимум лишнего.Для этой статьи я смотрел nullClaw в состоянии v2026.3.13-1-g78366e9. Для сравнения я отдельно прогнал те же сценарии на свежем npm-релизе OpenClaw 2026.3.12.
Как запускать LLM локально с LM Studio: Полное руководство 2026
Запускайте большие языковые модели оффлайн на своём компьютере — без API-ключей, без облачных зависимостей, полная приватностьКак запускать LLM локально с LM Studio: Полное руководство 2026
От чат-бота к AI агенту: собираем локальную систему на LibreChat, Langflow и MCP
Всем привет! Меня зовут Николай Луняка. В прошлой статье мы строили локальную систему для транскрибации аудио, и многие из вас откликнулись на тему цифровой независимости. Сегодня продолжим эту линию и соберем агентную AI систему, которая работает локально.
Ускорение DeepSeek-R1 с подвохом: Когда токены в секунду врут о реальной скорости
ВведениеПосле сборки домашнего сервера для работы с LLM DeepSeek-R1 подробно о нём можно прочитать в статье Локальный DeepSeek-R1-0528. Когда скорость улитки – не приговор, а точка старта возникла потребность сравнить разные квантизации для оптимизации скорости/качества работы. Запуская работу с разными моделями, я заметил что квантизация зачастую приводит к ускорению генерации токенов.
