Сложные вычисления — в минимальном объёме памяти
По закону Мура плотность транзисторов на микросхеме удваивается каждые 24 месяца. Производительность CPU, GPU, TPU и NPU растёт уже несколько десятилетий, что привело нас вплотную к задачам эмуляции мозга и Сверхинтеллекта.
Тупик закона Мура и аналоговый ренессанс 2025
Когда я в начале 80-х поступил в ВУЗ на «Прикладную математику», идея дискретизации мира поразила меня до глубины души. Казалось, всё вокруг можно (и нужно!) оцифровать. Первым экспериментом стала музыка — идея лежала на поверхности: назначить числа каждому полутону, выстроить последовательность, а дальше подвергай её любому анализу, ищи закономерности, которые превращают какофонию в популярную мелодию.
«Закон уплотнения» LLM: плотность способностей удваивается каждые 3,5 месяца
TL;DRПредлагается «закон уплотнения» для больших языковых моделей: максимальная плотность способностей удваивается примерно каждые 3,5 месяца. То есть всё больше качества удаётся выжать из каждого параметра модели.Вводится метрика плотности способностей: считается, сколько параметров потребовалось бы референсной модели, чтобы показать такое же качество, и это число сравнивается с реальным количеством параметров. Так видно, какие модели обучены «экономно», а какие — расточительно.
История ИТ: как человечество построило ИТ-мир и почему без него рухнет всё
ИТ — не профессия, а новая форма жизниПредставьте, что вы попали в 1825 год и пытаетесь объяснить крестьянину, что через 200 лет люди будут общаться через «невидимые волны», а железные ящики станут умнее всех академий. Представили что он сделает своим указательным пальцем у виска? ИТ — это не случайность, а закономерный итог 5000 лет изобретательства. Разберемся, как мы дошли от камешков до квантовых процессоров и почему назад пути нет.Часть 1: Как древние камни стали первым «кодом»3000 лет до н.э.: Абак и бинарная логика
