Сэм Альтман: «Оперативная память в вашем компьютере — ужасная трата дефицитных ресурсов»

Сэм Альтман, руководитель компании OpenAI: ^{[1] [1] [2] [2]}

Локальный инференс — это крайне неэффективное распределение дефицитных ресурсов. Многие хотят использовать локальный инференс, полагая, что раз появились модели с открытым исходным кодом, которые можно запускать на собственных компьютерах, то необходимость в мощностях дата‑центров отпадает. Однако, если смотреть на ситуацию в глобальном масштабе, это крайне нерационально: значительная часть мирового запаса оперативной памяти ^[3] (DRAM) стоит на пользовательских компьютерах, где она используется лишь пять процентов времени. В условиях жесткого дефицита ресурсов необходимо стремиться к максимальной загрузке мощностей в облаке.

Удивительно, но интуиция ^[4] многих людей подсказывает им ровно обратное.

Напомню, что именно компания OpenAI вызвала этот дефицит ^[5], заказав у Samsung и SK Hynix 40% мирового производства DRAM, что вызвало резкий рост контрактных цен на память на 171%.

Ещё напомню, что open‑weights модель qwen3.8–27b ^[6] показывает результаты, сравнимые с лучшими моделями недавнего прошлого, ничего не отправляет в облако, и запускается локально на 16–24 ГБ видеопамяти. А Ling-3.0-tiny ^[7] можно запустить на 8 ГБ видеопамяти или на ЦП