Обзор Mac Studio M5 Ultra: идеальный Mac для локальных агентов искусственного интеллекта
Обзор Mac Studio M5 Ultra: идеальный Mac для локальных агентов искусственного интеллекта.Mac Studio M5 Ultra.В течение последних нескольких дней я тестировал (на данный момент) топовую модель
Параллельное Программирование, Процессоры, Кэши с Кэйвоном и Кунле
На четвертом курсе Стэнфорда* я записался на урок по параллельному программированию. Изучив алгоритмы, контейнеры данных и математику, стоящую за нейронными сетками, понял, что толком не знаю, что такое микропроцессор. Было очень интересно углубиться в компьютерную архитектуру и понять лучше, как работает то, для чего мы разрабатываем софт и чем пользуемся ежедневно.Преподаватели были одни из лучших в моём опыте в Стэнфорде*. Кэйвон Фатахалиан—эксперт в области графики и производительности, а Кунле Олукотун—пионер в создании многоядерных микропроцессоров.Зачем это всё нужно?
Как приручить дракона или заставляем локальные LLM и VirtualBox работать строго на P-cores в Windows 11
Сегодня мне хотелось бы поделиться решением проблемы, с которой гарантированно сталкиваются владельцы современных процессоров Intel (архитектуры Alder Lake, Raptor Lake и новее) под управлением Windows 11, если они пытаются “крутить” тяжелые локальные модели (LLM) или использовать виртуализацию.Речь пойдет о принудительной изоляции «тяжелого» софта от энергоэффективных ядер (E-cores) и полной передаче вычислений производительным ядрам (P-cores) со стороны излишне навязчивой в этом плане Windows 11.Кратко о сути проблемы на примере моего ноутбука.
Nvidia представила RTX Spark 0 ARM-чип, который метит туда, где Apple M-серия доминирует
По памяти: RTX Spark поддерживает до 128 ГБ LPDDR5X (минимум 16 ГБ) с пропускной способностью 300 ГБ/с через NVLink C2C. Для локального запуска LLM и диффузионных моделей это принципиально важная цифра - большой объём единой памяти без разделения между CPU и GPU.Полный стек NVIDIA включает поддержку CUDA, TensorRT, NVFP4, DLSS, Ray Tracing, Reflex и G-SYNC. Всё, что нужно разработчику под CUDA, будет работать нативно без каких-либо дополнительных прослоек.
Google представила Coralboard — одноплатник для разработки Edge AI и встраиваемых приложений на базе нейросетей
Google в партнёрстве с Synaptics представила Coralboard — одноплатник для разработки приложений, которые работают локально на устройствах (Edge AI). Устройство ориентировано на быстрое прототипирование AI-сценариев машинного зрения, обработки звука, мультимодальных интерфейсов и запуска компактных генеративных моделей.
