PyTorch MPS против Apple MLX: как дообучать LLM на Mac с 16 ГБ и что выбрать
Если вы хотите локально дообучать LLM на Apple Silicon, по сути есть два варианта: PyTorch MPS со стандартным стеком Hugging Face/TRL или Apple MLX — нативный фреймворк Apple. Оба поддерживают локальное дообучение с LoRA. И оба ведут себя совсем не так, как привыкли разработчики, работающие с CUDA.На обычном компьютере с 16 ГБ памяти обучение на многоходовых трейсах работы агентов для программирования очень быстро упирается в физические ограничения железа. PyTorch MPS обеспечивает высокую производительность в FP16 на небольших моделях, но по мере роста контекста довольно резко упирается в потолок по памяти.
Qwen3.8 27B обошла GPT-5.6 в SQL‑бенчмарке. И всё это — локально на ноутбуке
Производительность агентного SQL на уровне передовых моделей теперь помещается прямо на ноутбуке — даже если ему почти пять лет и у него всего 16 ГБ оперативной памяти. В связке Qwen 3.8 27B и DuckDB всё работает локально. А если понадобится масштабирование, достаточно изменить одну настройку, чтобы перенести обработку запросов в MotherDuck.Как это меняет наш подход к работе? Что это говорит о будущем искусственного интеллекта в работе с данными? И раз уж мы здесь, заодно всё настроим на вашей машине. Это не займёт много времени.Граница Парето сдвинулась
Запустить LLM локально: что считать до покупки видеокарты?
Всем привет, меня зовут Сергей Прощаев, я Tech Lead и руководитель направления Java/Kotlin‑разработки в FinTech & E‑commerce, преподаю на курсах разработки и архитектуры в ОТУС.В этой статье расскажу про домашний стенд для локального инференса
Как запустить LLM на 2,8 трлн параметров на ноутбуке
Всем привет, меня зовут Сергей Прощаев, и в этой статье расскажу про то, как летом 2026 года большие языковые модели научились запускаться на железе, которое стоит под столом, а не в дата‑центре, и что из этого может забрать себе обычный backend‑инженер.Я Tech Lead и руководитель направления Java | Kotlin разработки в FinTech & E‑commerce и преподаю на курсах разработки и архитектуры в ОТУС.

