Можно ли заменить системный промпт начальным состоянием? Эксперименты на RWKV-7
Что такое начальное состояние модели? Почему у RWKV оно может заменить системный промпт? И чем это отличается от обычного промпта? Ответы на эти вопросы в этой статье.
Я дообучил маленькую нейросеть на MacBook, и она стала хуже. Честные цифры
В прошлой статье я рассказывал, как прикручивал Ollama к Lumi — это мой лаунчер в духе Spotlight, который умеет отвечать на вопросы без интернета. В конце я пообещал дообучить самую маленькую модель, lumi-mini, и показать, что получится. Добавил ещё «даже если станет хуже». Как в воду глядел.Сразу скажу: я не ML-инженер. Код пишу вместе с Claude, многое по ходу узнаю сам. Поэтому это не туториал, а скорее дневник эксперимента. Зато все ответы модели ниже настоящие, я сохранял каждый прогон.Зачем вообще
PyTorch MPS против Apple MLX: как дообучать LLM на Mac с 16 ГБ и что выбрать
Если вы хотите локально дообучать LLM на Apple Silicon, по сути есть два варианта: PyTorch MPS со стандартным стеком Hugging Face/TRL или Apple MLX — нативный фреймворк Apple. Оба поддерживают локальное дообучение с LoRA. И оба ведут себя совсем не так, как привыкли разработчики, работающие с CUDA.На обычном компьютере с 16 ГБ памяти обучение на многоходовых трейсах работы агентов для программирования очень быстро упирается в физические ограничения железа. PyTorch MPS обеспечивает высокую производительность в FP16 на небольших моделях, но по мере роста контекста довольно резко упирается в потолок по памяти.
Apple Intelligence. Минус 30 гигабайт во имя будущего (которое мы не просили устанавливать)
Два года назад Apple пообещала сделать наши устройства умнее. За это время искусственный интеллект научился многому, но ещё быстрее научился занимать место на накопителе. Зачем ему столько гигабайтов, что мы получили взамен и почему так трудно избавиться от «подарка».Помните, как летом 2024 года Apple представила Apple Intelligence? Всё было как мы любим: красивые презентации, впечатляющие демонстрации, восторженные обещания. Siri наконец‑то должна была научиться понимать человека, учитывать личный контекст, работать с приложениями, почтой, фотографиями и сообщениями.
Синтетическая эмпатия: как RAG, системные промпты и TTS инженерят привязанность к LLM-агентам
Это адаптированная версия моего исследования «Синтетическая эмпатия: эмоциональная привязанность к автономным LLM-агентам и коммерциализация одиночества». Здесь — техническая выжимка: разберём, как именно архитектура современных компаньон-агентов производит эмоциональную привязанность, и почему это не побочный эффект, а прямое следствие инженерных решений. Полная версия с приложением по железу и библиографией — в моём блоге.От ELIZA к агентам: три этапа
Локальный запуск Qwen-Image-2.1 без safety checker: тест на MacBook Air с 16 ГБ памяти
Команда Qwen из Alibaba выпустила Qwen-Image-2.1 — модель для генерации и редактирования изображений на базе diffusion transformer с 7 млрд параметров, поддержкой нативного вывода до 2K и лицензией Qwen Research License. Она умеет генерировать изображения по текстовому описанию, редактировать их с использованием до десяти референсов и заметно лучше многих открытых альтернатив работает с китайским текстом. В сообществе доступны сборки без встроенного content filter: промпты, веса модели и результаты генерации при локальном запуске остаются на компьютере пользователя.
Локальный ассистент для зумов, часть 9: Nemotron от NVIDIA — почему взял и что получил
Чароит записывает мои созвоны, а после кнопки Стоп собирает стенограмму, протокол и граф встречи. Самое капризное место во всей цепочке — понять, кто что сказал. Это называется диаризацией. Ошиблась она, и решение в протоколе повисает на другом человеке.23 сентября NVIDIA выложила нейросеть, которая только этим и занимается. Через пять дней она уже работала у меня. Сейчас через неё идут оба канала звонка, очные встречи и живая лента.Что за нейросетьNemotron 3 Diarization. Веса открытые, на Hugging Face. Сто миллионов параметров, по нынешним меркам кроха: модель, которая пишет мне протоколы, больше в триста с лишним раз.
MTPLX против oMLX: одна модель, два сервера, разница в 3–6 раз
Вторая часть. Первая — «Локальный агент для кода на Mac: MTPLX + pi + Qwen3.8-27B».В первой части я посадил кодового агента pi на локальную Qwen3.8-27B через MTPLX и прогнал сложную задачу в разных режимах размышлений. Осталось сомнение, которое MTPLX сам не снимает: сколько тут даёт его многотокенное предсказание (multi-token prediction, MTP), а сколько сработало бы на любой MLX-обвязке?
Как Splash ускоряет локальные LLM на Mac
При выборе движка для локальной языковой модели хочется получить простой ответ: сколько токенов в секунду она выдаст на моём компьютере? Но за одной цифрой скрываются разные задачи: обработать новый запрос, продолжить длинный диалог, обслужить несколько обращений одновременно. Ускорение в одном сценарии не обязательно означает такой же выигрыш в остальных.
Локальный ассистент для зумов, часть 8: модель, ради которой я поменял диаризацию за один вечер
В третьей части я написал, что не вижу чужой модели, ради которой стоит менять связку. sherpa-onnx на диаризации, свой второй проход поверх, канал собеседников двадцатиминутного звонка размечается минут семь. Жить можно.23 сентября NVIDIA выложила Nemotron 3 Diarization. Вечером 28-го я включил её в разбор своих созвонов. Тот же канал — три секунды.Что этоSortformer на сто миллионов параметров, до восьми голосов. На каждые 10 мс у каждого голоса своя вероятность, два голоса в одном кадре для неё норма. Старая связка решает по отпечатку куска речи. Двое говорят разом — отпечаток общий, кто-то пропадает.
