Учёные представили новую метрику для оценки языковых моделей, получившую название capability density или плотность способностей. Она показывает, сколько навыков, включая точность, логическое рассуждение, кодирование и общие знания, модель способна проявить на каждый свой параметр. Исследование охватило 51 открытую языковую модель, от ранних до самых современных и сложных.
Результаты показали эффект, который авторы назвали densing law. Плотность способностей моделей растёт очень быстро, и каждые 3,5 месяца на каждый параметр приходится всё больше интеллекта. Это значит, что даже небольшие модели со временем могут достигать эффективности крупных моделей, что открывает путь для запуска сложных ИИ на компактных устройствах и уменьшения затрат на вычисления.
Модели с меньшим количеством параметров начинают демонстрировать результаты, сопоставимые с топовыми решениями, через короткое время после обучения. Это создаёт возможность использовать продвинутые ИИ на обычных ПК, ноутбуках и смартфонах, делая технологии более доступными для широкого круга пользователей. Учёные подчёркивают, что просто увеличение числа параметров не гарантирует успеха, и на первом месте остаются продуманные архитектуры, оптимизация обучения и качественные данные. Будем следить за новостями!
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
Автор: cognitronn
