3. Bonsai-27B на рекурсивном форке llama.cpp: полный запуск и реальный бенчмарк на RTX 3050
Всем привет! Это третья часть про мой форк llama.cpp. В прошлых статьях я показывал, как работает рекуррентность и какие цифры она даёт на обычных моделях. Сегодня — особенное железо: Bonsai-27B, гибридная модель на линейной архитектуре Delta-Net. Расскажу, как её запустить на слабой видеокарте, и главное — покажу реальный замеренный бенчмарк D=0 против D=12 на сложной задаче, которую базовая модель не смогла решить вообще.Все цифры ниже получены на моём железе вживую. Никакой магии и отрисованных «в пользу» диаграмм.0. Что такое Bonsai-27B и почему он особенный
Компании перешли от простого внедрения ИИ к оценке понимания этих инструментов сотрудниками
Согласно данным платформы бизнес-аналитики AlphaSense, за последние 90 дней руководители компаний как минимум 60 раз упоминали «первопроходцев в освоении ИИ» в ходе конференций, презентаций, выступлений и других подготовленных речей. Теперь некоторые из крупнейших американских компаний переходят от простого внедрения искусственного интеллекта к оценке того, насколько хорошо их сотрудники действительно понимают технологию.
Дженсен Хуанг, как же так!? Тестируем NVIDIA GeForce RTX 5090 в ИИ задачах
Несмотря на огромный дефицит, нам удалось достать несколько карт NVIDIA GeForce RTX 5090 и протестировать. Не все так однозначно, как обещал глава Nvidia, но результаты достаточно интересные.ОборудованиеС оборудованием всё достаточно просто: мы взяли сервер с 4090, вынули эту видеокарту и поставили взамен 5090. Получили вот такую конфигурацию: Intel i9-14900k, 128 Гб, 2 TB NVMe SSD и, конечно же, GeForce RTX 5090 32 Гб.
