Локальный Tool Calling или «У нас есть BFCL-V4 дома»
В своей прошлой статье я рассказывал о компактной модели, которая по бенчмаркам смогла превзойти модели в 10 раз больше ее самой. О том, что это стало возможным благодаря особому подходу к обучения самой модели и что такую модель вполне реально запустить у себя локально.Однако, когда дело касается локального запуска, думаю, далеко немногие из нас запускают модели в BF16 через vLLM на Nvidia H100. А значит, все эти красивые результаты по бенчмаркам на практике, вероятнее всего, очень далеки от того, что мы получим на практике.И я решил это проверить.
IBM представила Granite 4.0 — открытый ИИ, обошедший Gemma 3 27B по индексу интеллекта
IBM выпустила семейство открытых языковых моделей Granite 4.0 с числом параметров от 3 до 32 млрд. Все модели доступны под лицензией Apache 2.0 и поддерживают контекстное окно в 128 тысяч токенов. В линейку вошли Granite 4.0 H Small (32B/9B активных параметров), H Tiny (7B/1B), H Micro (3B/3B) и Micro (3B/3B).
