Великий парадокс VRAM: почему мы платим миллионы за память, чтобы делать всё, лишь бы ей не пользоваться
Если вы посмотрите на эволюцию видеокарт для машинного обучения, вы увидите одну тенденцию: гонку за объемом видеопамяти. Размеры LLM пухнут, KV кэш сжирает терабайты, батчи становятся всё больше. Нам нужно больше VRAM. Еще больше VRAM.Но если вы когда-нибудь писали собственные ядра на triton, вы знаете одну жестокую тайну, о которой не задумываются дата саентисты высокоуровневых фреймворков.Самая дорогая часть вашей видеокарты это самое медленное, узкое и отвратительное место во всей системе. И вся современная ML оптимизация (Kernel Fusion, FlashAttention, PagedAttention) сводится к одному правилу:
Геометрия превосходства: Почему DeepSeek-V4 и Moonshot AI убили AdamW, и как оптимизатор Muon меняет физику обучения
Мы часто спорим об архитектурах: трансформеры, mamba, гибридные слои. Но мы редко смотрим на двигатель, который заставляет эти архитектуры сходиться. Последние годы этим двигателем был AdamW.Но если вы следите за SOTA моделями 2026 года, вы заметили тектонический сдвиг. DeepSeek-V4 и Kimi K2 / Moonlight заявили о переходе на новый оптимизатор Muon. Он позволил Moonshot AI обучить модель на 15.5 триллионах токенов без единого спайка, а DeepSeek кардинально ускорить сходимость. Почему гиганты отказываются от AdamW? Потому что AdamW концептуально слеп. Проблема Adam: Слепота к Геометрии
Проклятие адаптивности: почему живучесть нейросетей ваш главный враг (и как я случайно ампутировал трансформер)
Мы привыкли восхищаться тем, как нейронные сети умеют адаптироваться. Они находят паттерны в шуме, обходят локальные минимумы и выжимают максимум из грязных данных. Но у этой сверхспособности есть темная сторона, о которой редко говорят в туториалах.Сверх адаптивность нейросетей это худший кошмар инженера.
Perceptron: Как работала самая первая нейросеть в истории?
Сегодня мы расскажем с чего началась эпоха современного ИИ. Это произошло через год после полета первого искусственного спутника Земли и имело не менее колоссальное значение для человечества.
На периферии трёх миров: ещё один шаг к нейронной операционной системе
Я в Termux (планшет, смартфон) пытаюсь понять, как из нескольких строк на чистом Си рождается свободная и не зависимая личность - Нейрон.Этот проект об искусственном интеллекте, который начался не с установки библиотек, а с чертежа в тетради. Здесь машинное обучение - это не абстрактный термин, а физическая подстройка " Виртуальных резисторов ". Я нахожусь на периферии трёх миров :Аналоговой интуиции ( где вес нейрона - переменный резистор ).Математика ( где ошибка заставляет систему эволюционировать).Программирование (цель - не просто скрипт в полноценная ОС ).Итоговая салфетка инженера
Я удалил backpropagation из нейросети. Она обучилась методами XIX века
Все началось с того, что я открыл PyTorch и удалил из модели .backward(). Взял и стер как строчку, которая «вроде ничего не делала». Только вот эта строчка делала вообще все.
Разворачиваем ИИ в контейнерах: опыт интеграции LocalAI и Kubeflow
Привет, Хабр! Мы — команда dBrain.cloud, и сегодня хотим поделиться нашим путем по внедрению ИИ-сервисов на нашей платформе контейнеризации. Искусственный интеллект стремительно проникает практически в каждый цифровой продукт, будь то аналитика, корпоративные сервисы или клиентские приложения. В связи с этим перед нами встал важный вопрос: как обеспечить надежную и масштабируемую инфраструктуру для развертывания собственных и готовых ИИ-моделей?
Для создания AGI нам нужно сделать шаг назад
Современные языковые модели демонстрируют отличные способности к рассуждению, но при этом остаются инструментами. Уинструмента нет выбора.
Как подбирать аугментации: гипотезы, протокол и метрики
Одно и то же изображение под разными аугментациями
