IBM выпустила семейство компактных моделей Granite 4.0 Nano
Компания IBM представила новое семейство моделей Granite 4.0 Nano, созданное специально для интеграции в ИИ-агентов и автономные системы. Разработчики сделали ставку на баланс между скоростью, экономией ресурсов и способностью выполнять сложные задачи на уровне больших моделей.
Семейство включает несколько версий от 350 миллионов до 1,5 миллиарда параметров. Младшая модель способна стабильно работать даже на обычном CPU с 8–16 ГБ оперативной памяти [1], а старшая на видеокарте с 6–8 ГБ VRAM. Это делает Granite 4.0 Nano одним из самых доступных решений для локального развёртывания ИИ.
Архитектура гибридная: Mamba-2 + Transformer, что позволило снизить потребление памяти почти на 70 процентов и удвоить скорость инференса по сравнению с аналогами. При этом IBM утверждает, что Nano-модели показывают SOTA-результаты в задачах, связанных с выполнением инструкций, рассуждениями и использованием инструментов.
Granite 4.0 Nano создавалась в рамках стратегии IBM по продвижению умных агентов, которые могут анализировать данные, принимать решения и выполнять действия без постоянного обращения к облаку. Таким образом, новые модели открывают путь к созданию полностью офлайн-ИИ для бизнеса и науки.
Все модели опубликованы под лицензией Apache 2.0 и уже доступны на Hugging Face [2].
Делегируйте часть рутинных задач вместе с BotHub! [3] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке [4] вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Автор: cognitronn
Источник [5]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/21497
URLs in this post:
[1] памяти: http://www.braintools.ru/article/4140
[2] Hugging Face: https://huggingface.co/blog/ibm-granite/granite-4-nano
[3] BotHub!: https://bothub.chat/?utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_source=contentmarketing&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_medium=habr&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_campaign=news&utm%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C%5C_content=IBM%20LAUNCHED%20THE%20GRANITE%204.0%20NANO%20FAMILY%20OF%20COMPACT%20MODELS
[4] По ссылке: https://bothub.chat/?invitedBy=m_aGCkuyTgqllHCK0dUc7
[5] Источник: https://habr.com/ru/companies/bothub/news/963010/?utm_source=habrahabr&utm_medium=rss&utm_campaign=963010
Нажмите здесь для печати.