«Закон уплотнения» LLM: плотность способностей удваивается каждые 3,5 месяца
TL;DRПредлагается «закон уплотнения» для больших языковых моделей: максимальная плотность способностей удваивается примерно каждые 3,5 месяца. То есть всё больше качества удаётся выжать из каждого параметра модели.Вводится метрика плотности способностей: считается, сколько параметров потребовалось бы референсной модели, чтобы показать такое же качество, и это число сравнивается с реальным количеством параметров. Так видно, какие модели обучены «экономно», а какие — расточительно.
История ИТ: как человечество построило ИТ-мир и почему без него рухнет всё
ИТ — не профессия, а новая форма жизниПредставьте, что вы попали в 1825 год и пытаетесь объяснить крестьянину, что через 200 лет люди будут общаться через «невидимые волны», а железные ящики станут умнее всех академий. Представили что он сделает своим указательным пальцем у виска? ИТ — это не случайность, а закономерный итог 5000 лет изобретательства. Разберемся, как мы дошли от камешков до квантовых процессоров и почему назад пути нет.Часть 1: Как древние камни стали первым «кодом»3000 лет до н.э.: Абак и бинарная логика
