Компания IBM представила новое семейство моделей Granite 4.0 Nano, созданное специально для интеграции в ИИ-агентов и автономные системы. Разработчики сделали ставку на баланс между скоростью, экономией ресурсов и способностью выполнять сложные задачи на уровне больших моделей.
Семейство включает несколько версий от 350 миллионов до 1,5 миллиарда параметров. Младшая модель способна стабильно работать даже на обычном CPU с 8–16 ГБ оперативной памяти, а старшая на видеокарте с 6–8 ГБ VRAM. Это делает Granite 4.0 Nano одним из самых доступных решений для локального развёртывания ИИ.
Архитектура гибридная: Mamba-2 + Transformer, что позволило снизить потребление памяти почти на 70 процентов и удвоить скорость инференса по сравнению с аналогами. При этом IBM утверждает, что Nano-модели показывают SOTA-результаты в задачах, связанных с выполнением инструкций, рассуждениями и использованием инструментов.
Granite 4.0 Nano создавалась в рамках стратегии IBM по продвижению умных агентов, которые могут анализировать данные, принимать решения и выполнять действия без постоянного обращения к облаку. Таким образом, новые модели открывают путь к созданию полностью офлайн-ИИ для бизнеса и науки.
Все модели опубликованы под лицензией Apache 2.0 и уже доступны на Hugging Face.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Автор: cognitronn
