Квантизация больших языковых моделей: FP32, BF16, INT8, NF4 и QLoRA
Большие языковые модели требуют огромных объёмов памяти. Например, модель с 8 миллиардами параметров в формате FP16 занимает 24–27 ГБ памяти только для инференса (веса, кэш ключей-значений, буферы). Для полного обучения той же модели нужно уже 84–128 ГБ памяти. Даже с такими методами, как checkpointing активаций или offloading на CPU, требования остаются высокими, особенно для моделей с 70 миллиардами параметров.
«Группа Астра» запустила облачный сервис Astra Cloud на процессорах Baikal‑S для объектов критической инфраструктуры
«Группа Астра» представила 13 мая 2026 года облачный сервис Astra Cloud на базе российских процессоров Baikal‑S от компании «Байкал Электроникс». Предзаказ на облачную инфраструктуру уже открыт. Информационная служба Хабра присутствовала на презентации решения.Новый сервис ориентирован в первую очередь на объекты критической информационной инфраструктуры. Субъектам КИИ требуется платформенный подход с контролем каждого технологического слоя, включая аппаратное обеспечение.
«Группа Астра» запускает Astra Cloud на российских процессорах Baikal-S
«Группа Астра» представила Astra Cloud на российских процессорах Baikal-S — первое коммерческое облако в России, где весь стек построен на отечественных технологиях: от процессора Baikal-S до конечных сервисов для бизнеса.Что это дает компаниям:🔹 Импортонезависимая инфраструктура — решение ориентировано прежде всего на значимые объекты КИИ и соответствует курсу на технологический суверенитет.🔹 ARM-архитектура вместо классического x86
Micron представила SSD на 245 ТБ
Micron презентовала твердотельный накопитель Micron 6600 ION с рекордной ёмкостью в 245 ТБ. Американский производитель переориентировался на компании в сфере искусственного интеллекта, облачных провайдеров и корпоративных клиентов, которые работают с крупными массивами данных. Новый продукт должен стать востребованным среди этих покупателей. Micron пока не назвала стоимость накопителя высокой ёмкости.
Google DeepMind бастует против контрактов с Пентагоном
Сотрудники лондонского офиса Google DeepMind практически единогласно проголосовали за объединение в профсоюз для защиты этических стандартов в сфере искусственного интеллекта. Инициативу поддержали 98% коллектива, что позволит новой организации представлять интересы более тысячи IT-специалистов.
Сколько на самом деле стоит GenAI в продакшене
Когда обсуждают стоимость внедрения генеративного ИИ, разговор часто сводится к цене за токен или цене за арендуемый GPU. Это удобно — одно число. Но в реальном продакшене такая оценка почти всегда обманчива.Стоимость GenAI-системы — это не только сколько стоит вызвать модель. Это инфраструктура, эксплуатация, безопасность, наблюдаемость, разработка, интеграции, поддержка пользователей и постоянные изменения вокруг моделей. Именно поэтому «мы поднимем open-source модель сами, будет дешевле» часто оказывается правдой только на первом слайде презентации.Из чего складывается стоимость GenAI в продакшене
Центры обработки данных в космосе — это ужасная, кошмарная и совершенно бесполезная идея
Компании, занимающиеся искусственным интеллектом, в спешном порядке объединяются с компаниями, занимающимися космическими запусками и спутниками, чтобы строить центры обработки данных в космосе. Скажу кратко: это не сработает
Airsys представила систему жидкостного охлаждения для ИИ-сред и ЦОД
Компания Airsys объявила о выпуске нового поколения LiquidRack — платформы жидкостного охлаждения на уровне стойки, разработанной для упрощения развёртывания в ИИ-средах, центрах обработки данных, телекоммуникациях и периферийных устройствах.

