Raspberry Pi представила AI HAT+ 2 — модуль для локального запуска генеративных моделей

Raspberry Pi анонсировала ^[1] обновлённый модуль AI HAT+ 2, адаптированный для запуска генеративных моделей машинного обучения ^[2], включая уменьшенные версии DeepSeek, Qwen и LLaMA.

Год назад инженеры Raspberry Pi выпустили плату AI HAT+ на базе Hailo-8 (26-TOPS) и Hailo-8L (13-TOPS), предназначенную для ускорения задач распознавания объектов. По словам компании, пользователи получили возможность локально запускать небольшие vision-модели, экономить на аренде вычислительных мощностей у облачных провайдеров и обрабатывать все данные на своих устройствах. Одна из проблем AI HAT+ — ограниченные возможности для работы с генеративными моделями.

Для решения этой проблемы команда RPi разработала обновлённую плату AI HAT+ 2. Она построена на базе ИИ-ускорителя Hailo-10H (40 TOPS) и оснащена 8 ГБ встроенной оперативной памяти ^[3] для инференса моделей. Плата может работать с LLM, VLM и другими генеративными моделями.

На старте пользователям доступны для запуска уменьшенные и адаптированные версии DeepSeek-R1-Distill, Qwen2.5-Coder, Qwen2.5-Instruct, Qwen2 и Llama3.2. У всех моделей до 1,5 млрд параметров. Более крупные модели и новые уменьшенные появятся позже. Кроме того, AI HAT+ 2 может запускать и пользовательские модели с предварительным обучением для конкретных задач.

Модуль Raspberry Pi AI HAT+ 2 в официальном магазине стоит 130 долларов. В репозитории ​​Hailo ^[4] есть множество примеров, демо и фреймворков для готовых приложений. Документацию и дополнительный софт можно найти в разделе для разработчиков ^[5].