Облачные вычисления. - страница 6

Квантизация больших языковых моделей: FP32, BF16, INT8, NF4 и QLoRA

Большие языковые модели требуют огромных объёмов памяти. Например, модель с 8 миллиардами параметров в формате FP16 занимает 24–27 ГБ памяти только для инференса (веса, кэш ключей-значений, буферы). Для полного обучения той же модели нужно уже 84–128 ГБ памяти. Даже с такими методами, как checkpointing активаций или offloading на CPU, требования остаются высокими, особенно для моделей с 70 миллиардами параметров.

продолжить чтение

«Группа Астра» запустила облачный сервис Astra Cloud на процессорах Baikal‑S для объектов критической инфраструктуры

«Группа Астра» представила 13 мая 2026 года облачный сервис Astra Cloud на базе российских процессоров Baikal‑S от компании «Байкал Электроникс». Предзаказ на облачную инфраструктуру уже открыт. Информационная служба Хабра присутствовала на презентации решения.Новый сервис ориентирован в первую очередь на объекты критической информационной инфраструктуры. Субъектам КИИ требуется платформенный подход с контролем каждого технологического слоя, включая аппаратное обеспечение.

продолжить чтение

«Группа Астра» запускает Astra Cloud на российских процессорах Baikal-S

«Группа Астра» представила Astra Cloud на российских процессорах Baikal-S — первое коммерческое облако в России, где весь стек построен на отечественных технологиях: от процессора Baikal-S до конечных сервисов для бизнеса.Что это дает компаниям:🔹 Импортонезависимая инфраструктура — решение ориентировано прежде всего на значимые объекты КИИ и соответствует курсу на технологический суверенитет.🔹 ARM-архитектура вместо классического x86

продолжить чтение

Как построить и проверить катастрофоустойчивость в облаке: от плана до Game Day

продолжить чтение

Micron представила SSD на 245 ТБ

Micron презентовала твердотельный накопитель Micron 6600 ION с рекордной ёмкостью в 245 ТБ. Американский производитель переориентировался на компании в сфере искусственного интеллекта, облачных провайдеров и корпоративных клиентов, которые работают с крупными массивами данных. Новый продукт должен стать востребованным среди этих покупателей. Micron пока не назвала стоимость накопителя высокой ёмкости.

продолжить чтение

Google DeepMind бастует против контрактов с Пентагоном

Сотрудники лондонского офиса Google DeepMind практически единогласно проголосовали за объединение в профсоюз для защиты этических стандартов в сфере искусственного интеллекта. Инициативу поддержали 98% коллектива, что позволит новой организации представлять интересы более тысячи IT-специалистов.

продолжить чтение

Сколько на самом деле стоит GenAI в продакшене

Когда обсуждают стоимость внедрения генеративного ИИ, разговор часто сводится к цене за токен или цене за арендуемый GPU. Это удобно — одно число. Но в реальном продакшене такая оценка почти всегда обманчива.Стоимость GenAI-системы — это не только сколько стоит вызвать модель. Это инфраструктура, эксплуатация, безопасность, наблюдаемость, разработка, интеграции, поддержка пользователей и постоянные изменения вокруг моделей. Именно поэтому «мы поднимем open-source модель сами, будет дешевле» часто оказывается правдой только на первом слайде презентации.Из чего складывается стоимость GenAI в продакшене

продолжить чтение

Центры обработки данных в космосе — это ужасная, кошмарная и совершенно бесполезная идея

Компании, занимающиеся искусственным интеллектом, в спешном порядке объединяются с компаниями, занимающимися космическими запусками и спутниками, чтобы строить центры обработки данных в космосе. Скажу кратко: это не сработает

продолжить чтение

Microsoft прекратит делиться доходами с OpenAI

Microsoft пересмотрела

продолжить чтение

Airsys представила систему жидкостного охлаждения для ИИ-сред и ЦОД

Компания Airsys объявила о выпуске нового поколения LiquidRack — платформы жидкостного охлаждения на уровне стойки, разработанной для упрощения развёртывания в ИИ-средах, центрах обработки данных, телекоммуникациях и периферийных устройствах.

продолжить чтение

1...456789...16