Как выбрать между облаком, арендой GPU и своим железом для LLM-систем
В этой статье разберём, во сколько обходится LLM-сервис при нагрузке в 100 000 диалогов в день и где проходит граница окупаемости разных вариантов. Посмотрим на стоимость облачных API, аренды GPU и собственного железа, а заодно прикинем, какая инфраструктура нужна, чтобы всё это выдержало боевой трафик.Исходные допущенияПредставим продукт, в котором пользователи активно общаются с моделью:100 000 диалогов в день.Каждый диалог — это 100–300 токенов от пользователя.На один диалог модель отвечает примерно тремя сообщениями.В среднем получаем:
Google представила частную вычислительную ИИ-систему Private AI Compute
Google запускает новую облачную платформу Private AI Compute, которая позволяет пользователям использовать расширенные функции искусственного интеллекта на устройствах, сохраняя при этом конфиденциальность данных. Функция напоминает Apple Private Cloud Compute.
Стартап Olares представил мини-ПК для ИИ-проектов
Стартап Olares, который специализируется на открытом и локальном ИИ, выпустил мини-ПК Olares One с мобильной видеокартой Nvidia GeForce RTX 5090 с 24 ГБ видеопамяти GDDR7, процессором Intel Core Ultra 9 275HX и 96 ГБ оперативной памяти.
В России БУМ на нейросети в облаке: как компании используют ИИ для экономии и повышения продуктивности
Искусственный интеллект – он везде
OpenAI и Amazon заключили семилетнюю сделку на $38 млрд, чтобы улучшить работу ChatGPT
OpenAI заключила соглашение о покупке мощностей Amazon на сумму $38 млрд для улучшения работы чат-бота ChatGPT. Сделка стала признаком того, что OpenAI сокращает зависимость от Microsoft, пишет CNBC. В соответствии с соглашением OpenAI немедленно начнёт выполнять рабочие нагрузки на инфраструктуре Amazon Web Services, используя вычислительные мощности графических процессоров Nvidia в США.
Как правильно выбрать процессоры под разные облачные сегменты
Облачная инфраструктура должна одинаково эффективно работать с корпоративными ERP-системами, современными контейнеризованными приложениями и базами данных. Выбор процессоров для такой универсальной платформы превращается в комплексную задачу, где необходимо учитывать производительность, экономическую целесообразность, гибкость архитектуры и возможности масштабирования.
Starcloud-1 первый космический дата-центр с NVIDIA H100
В ноябре 2025 года компания Starcloud выведет на орбиту спутник Starcloud-1. Это будет первый в истории космический дата-центр, предназначенный для тренировки искусственного интеллекта в условиях микрогравитации и постоянного солнечного излучения.
Глава Microsoft AI: компания не будет создавать ИИ для эротического контента, так как это опасно и недопустимо
Глава ИИ-подразделения Microsoft Мустафа Сулейман (CEO Microsoft AI)
Облачный GITEX 2025
С 13 по 17 октября Дубай снова стал тех-точкой притяжения. GITEX Global обновил планку: 6800+ компаний, около 2000 стартапов, делегации из 180 стран. 45-й выпуск прошёл под знаком ИИ и киберустойчивости.Мы с командой Хайстекс провели на площадке два дня. Про первый уже писала тут, а во второй я постаралась сфокусироваться на бэкапе, DR и всём, что касается устойчивости и непрерывности ИТ-инфраструктуры. Под катом про то, куда двигаются лидеры, какие решения показали и что из этого ложится на наш локальный рынок.
Что «под капотом» у DeepSeek-V3.2-Exp? Китайцы нашли способ удешевить нейросети
У китайцев вышла новинка — DeepSeek-V3.2-Exp, экспериментальная версия последней модели DeepSeek-V3.1-Terminus. Цели и задачи у них вполне определенные: сделать архитектуру трансформеров еще более эффективной. Причем на сайте Hugging Face говорится, что особый акцент стартап делает на повышение вычислительной эффективности при обработке длинных текстовых последовательностей. Привет, Хабр! Китай снова выпустил кое-что интересное, так что давайте разбираться. Что там интересного
