Новый закон ИИ раскрыт: как каждая модель становится умнее с каждым днём

Учёные представили новую метрику ^[1]для оценки языковых моделей, получившую название capability density или плотность способностей. Она показывает, сколько навыков, включая точность, логическое рассуждение, кодирование и общие знания, модель способна проявить на каждый свой параметр. Исследование охватило 51 открытую языковую модель, от ранних до самых современных и сложных.

Результаты показали эффект, который авторы назвали densing law. Плотность способностей моделей растёт очень быстро, и каждые 3,5 месяца на каждый параметр приходится всё больше интеллекта ^[2]. Это значит, что даже небольшие модели со временем могут достигать эффективности крупных моделей, что открывает путь для запуска сложных ИИ на компактных устройствах и уменьшения затрат на вычисления.

Модели с меньшим количеством параметров начинают демонстрировать результаты, сопоставимые с топовыми решениями, через короткое время после обучения ^[3]. Это создаёт возможность использовать продвинутые ИИ на обычных ПК, ноутбуках и смартфонах, делая технологии более доступными для широкого круга пользователей. Учёные подчёркивают, что просто увеличение числа параметров не гарантирует успеха, и на первом месте остаются продуманные архитектуры, оптимизация обучения и качественные данные. Будем следить за новостями!

Делегируйте часть рутинных задач вместе с BotHub! ^[4] Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке ^[5] вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!

Источник ^[6]