PyTorch MPS против Apple MLX: как дообучать LLM на Mac с 16 ГБ и что выбрать
Если вы хотите локально дообучать LLM на Apple Silicon, по сути есть два варианта: PyTorch MPS со стандартным стеком Hugging Face/TRL или Apple MLX — нативный фреймворк Apple. Оба поддерживают локальное дообучение с LoRA. И оба ведут себя совсем не так, как привыкли разработчики, работающие с CUDA.На обычном компьютере с 16 ГБ памяти обучение на многоходовых трейсах работы агентов для программирования очень быстро упирается в физические ограничения железа. PyTorch MPS обеспечивает высокую производительность в FP16 на небольших моделях, но по мере роста контекста довольно резко упирается в потолок по памяти.
Apple Intelligence. Минус 30 гигабайт во имя будущего (которое мы не просили устанавливать)
Два года назад Apple пообещала сделать наши устройства умнее. За это время искусственный интеллект научился многому, но ещё быстрее научился занимать место на накопителе. Зачем ему столько гигабайтов, что мы получили взамен и почему так трудно избавиться от «подарка».Помните, как летом 2024 года Apple представила Apple Intelligence? Всё было как мы любим: красивые презентации, впечатляющие демонстрации, восторженные обещания. Siri наконец‑то должна была научиться понимать человека, учитывать личный контекст, работать с приложениями, почтой, фотографиями и сообщениями.
Побеждаем OOM в PyTorch: как обучать гигантские графы на обычной видеокарте
Если вы обучаете графные нейросети или Knowledge Graph Embeddings на миллионы узлов, вы наверняка сталкивались с тем, что стандартный torch.optim.SparseAdam моментально забивает всю оперативную память или видеопамять.Я разработал маленький пакет Disk Sparse Adam (DSA) — Out-of-Core оптимизатор для PyTorch, который выносит состояния моментов (
От вет-ИИ для коров до имперского глянца: хардкорный MLOps на бесплатных GPU
Введение. Контекст как катализаторВ начале 2026 года ленты новостей принесли тревожные сообщения из Сибири: массовые вспышки опасных заболеваний у КРС (крупного рогатого скота) привели к необходимости вынужденного забоя тысяч голов. Для многих фермеров это означало потерю бизнеса и средств к существованию.Мы задались вопросом: может ли доступный Computer Vision стать первой линией обороны? Инструментом, который позволит фермеру в отдаленном районе провести первичный скрининг (триаж) животного с помощью обычного смартфона и вовремя вызвать ветеринара, не дожидаясь начала эпидемии.Так родился проект AI-Vet-Scanner
Всё что нужно знать про torch.sparse
Разработчики PyTorch предоставили модуль torch.sparse для работы с разреженными тензорами, где большинство элементов – нули. Зачем это нужно? Представьте матрицу смежности графа, сильно обрезанную сеть или облако точек – хранить такие данные плотным массивом без надобности расточительно. Разрежённая структура сохраняет только ненулевые элементы и их индексы, что сильно экономит память и ускоряет вычисления. Например, матрица размером 10,000 на 10,000 с 100 000 ненулевых float-значений в разрежённом COO-формате займёт не 400 МБ, а около 2 МБ.Несмотря на перспективы,
Теория памяти человека, зачатки ИИ
Теория памяти человека, зачатки ИИ Наверняка всем Вам очень хорошо известны такие моменты, когда нужно что-то вспомнить, но извлечь информацию из мозга становится большим пазлом. Почему же такое происходит. Для начала немного теории работы нейрона, можно почитать тут или тут Предположим, а может так оно и есть, все нейроны объединены в одни очень большой граф со сложной структурой. Данная структура сложна и не может работать хаотично, т.е. передаваемые импульсы передаются строго в определённом порядке, поэтому тут есть 2 варианта: Ребра графа имеют только положительные веса Ребра графа могут иметь, как положительные так и отрицательные веса Рассматривая второй случай в реальной работе памяти человека, можно предположить, что такая ситуация возникает при провалах памяти человека, т.е. к нейрону содержащему ту информацию которая нам необходимо либо поступает недостаточно сигналов, для накопления и дальнейшей передачи, либо этих сигналов вообще нет. В случае с графами это можно представить, как узел у которого мало путей, либо они отрицательны, либо их вообще нет (рис 1). Что же касается первого случая, когда все ребра имеют положительные веса, т.е. головной мозг человека не поврежден. Тогда почему же человек не может вспомнить моменты из своего детства? Ответ прост: “Любое тело стремится к покою”, так же и наша с вами нейронная сеть старается оптимизировать свою работу. (Владельцам навигаторов должно быть знакомо, что прокладка маршрута, как раз таки строится на принципах работы графа, нахождения кратчайшего пути и т.д.). Мозг человека более изощренная система и его оптимизация заключается в разрыве связей с малыми весами, и построении новых связей с более высокими. (рис. 2). Таким образом объяснятся многочисленные разрывы и новые соединения нейронов. Чем больше узел имеет связей, тем легче вспомнить необходимую информацию.
