Квантизация больших языковых моделей: FP32, BF16, INT8, NF4 и QLoRA
Большие языковые модели требуют огромных объёмов памяти. Например, модель с 8 миллиардами параметров в формате FP16 занимает 24–27 ГБ памяти только для инференса (веса, кэш ключей-значений, буферы). Для полного обучения той же модели нужно уже 84–128 ГБ памяти. Даже с такими методами, как checkpointing активаций или offloading на CPU, требования остаются высокими, особенно для моделей с 70 миллиардами параметров.
DWH в 2026: четыре зоны вместо Inmon, Kimball и Data Vault 2.0
Когда инженер слышит «нам нужно хранилище данных», задача редко звучит однозначно. Кто‑то задыхается на боевой OLTP‑базе под аналитической нагрузкой. Кто‑то впервые строит BI и не понимает, с какого края подходить. У кого‑то накопились данные из десятка систем‑источников, и существующих средств уже не хватает.У всех «хранилище». А правильный технический ответ зависит от условий задачи.
TSMC ожидает, что рынок чипов превысит $1,5 трлн к 2030 году из-за роста AI-нагрузок
TSMC повысила прогноз по мировому рынку полупроводников. Компания ожидает, что к 2030 году он превысит $1,5 трлн. Ранее ориентир был заметно ниже — около $1 трлн.
Save the date: 20 мая встретимся на Inside AI Meetup от Wildberries & Russ
Что происходит, когда AI выходит за пределы прототипа и попадает в прод? На митапе обсудим реальные кейсы: от высоконагруженной модерации с векторным поиском и AIOps-подходов к управлению ML-сервисами до практики построения RAG-систем, тонкостей реранкинга и реальных этапов запуска LLM-продуктов. Среди спикеров эксперты Wildberries & Russ, MWS, МФТИ, Avito, VK, M2, Сбера, Альфа-Банка, red_mad_robot.Когда: 20 мая, старт в 15:00Где: Москва + онлайн-трансляция Регистрация открыта —> здесьInside AI: Main Track. Доклады на 30 минут от Wildberries & Russ, MWS, МФТИ
