Серверная оптимизация.

MCP Gateway: когда инструменты перестают быть интеграцией и становятся архитектурой

Привет, Хабр! Меня зовут Илья Гуляев, я работаю в команде Рег.облака над облачными решениями

продолжить чтение

Куда делись мои токены?

Когда начинаешь плотно работать с AI-агентом, кажется, что бОльшая часть токенов улетает на сложные процессы - код написать, сайт разобрать, статью подготовить, браузером поуправлять, в логах покопаться. Вроде логично, задача сложная, модель думает, инструменты дергает, контекст растет.

продолжить чтение

Нейро сети для самых маленьких. Часть первая (которая после нулевой). Удобство в прокрустовом ложе оптимизации

Это первая (после нулевой) статья из серии Нейро сети для самых маленьких, в которой мы разбираем инфраструктуру для запуска нейронных сетей.Для обучения и инференса нейросетей и для любых видов High Performance Computing используются специализированные технологии: GPU/TPU, RDMA, Kernel bypass, NVLink, InfiniBand, RoCE и другие. Про некоторые из них большинство только что-то слышали, но сталкиваться с ними не приходилось.Нельзя просто взять ванильный стек Linux, воткнуть в него 400 Gb Ethernet+IP и получить рабочее решение. Почему?

продолжить чтение

PostgreSQL для бэкендера: 10 фич, которыми мало пользуются, а зря

Привет! Меня зовут Тимур Исламгулов. Я преподаю в МФТИ и веду вебинары по PostgreSQL на курсе «Аналитик данных» в Нетологии. За эти годы я насмотрелся, как разработчики поднимают лишнюю инфраструктуру там, где хватило бы самой базы, — об этом и поговорим.

продолжить чтение

Дело о молчаливой JVM: мониторинг Spring Boot с Prometheus и Grafana. Production-нуар

Она умерла в воскресенье вечером, и никто не услышал ни звука. Детективная история о том, как поставить прослушку на собственное приложение: Prometheus, Grafana, Micrometer, алерты, SLO. Все улики в комплекте, демо-проект прилагается. Совпадения с вашим продакшеном не случайны.Пролог. ТелоГород спал. Я - нет.Воскресенье, восемь вечера. Дождь стучал в окно, как healthcheck по мёртвому эндпоинту: методично и без надежды на ответ. На столе остывал ужин. Зазвонил телефон. Лёша, тимлид. Лёша по воскресеньям не звонит. По воскресеньям он отец, муж и человек. Если звонит, значит, человеком сегодня побыть не выйдет ни ему, ни мне.

продолжить чтение

Dell и Kioxia разработали первый сервер на 9,8 ПБ

Недавно мы рассказывали о новых дисках от Micron на 245TB, где упоминали о более раннем анонсе дисков от Kioxia. С последними была объявлена крутая коллаборация с Dell.В Токио 15 мая 2026 года корпорация Kioxia совместно с Dell объявила о первом сервере высокой плотности с флеш-памятью объемом 9,8 ПБ. Разработка носит название Dell PowerEdge R7725xd и представлена в 2U форм-факторе, что умещает огромный объем дискового пространства с высокой плотностью.Подробнее о сервере

продолжить чтение

Kioxia и Dell уместили почти 10 ПБ в один 2U-сервер

Kioxia и Dell создали серверную конфигурацию форм-фактора 2U, способную вместить до 9,8 ПБ флеш-памяти. Комплекс включает сервер Dell PowerEdge R7725xd, 40 твердотельных накопителей Kioxia LC9 NVMe ёмкостью 245,76 ТБ и процессоры AMD EPYC.Dell PowerEdge R7725xd

продолжить чтение

Каталог преднастроенных моделей, VDS и другие обновления: дайджест Selectel за апрель

Этот дайджест получился объемным! В апреле команда Selectel презентовала Foundation Models Catalog, запустила VDS и Enterprise-grade ЦОД. И это лишь малая часть обновлений. Все подробности — ниже.

продолжить чтение

Центры обработки данных в космосе — это ужасная, кошмарная и совершенно бесполезная идея

Компании, занимающиеся искусственным интеллектом, в спешном порядке объединяются с компаниями, занимающимися космическими запусками и спутниками, чтобы строить центры обработки данных в космосе. Скажу кратко: это не сработает

продолжить чтение

Как мы заставили vLLM «лениться» под нагрузкой и спасли Time-to-First-Token

Введение: Почему обычный Rate Limiting не работает для LLM?Деплой больших языковых моделей (LLM) — это всегда боль, когда дело доходит до пиковых нагрузок. В классических web-сервисах при высоких RPS мы просто включаем балансировщик, а если всё горит — жестко режем запросы HTTP 429 Too Many Requests.Но в мире генеративного AI отбрасывать запросы клиентов очень дорого: пользователь уже подождал, пока загрузится чат, написал длинный промпт, нажал Enter и… получил ошибку. А масштабирование GPU-кластера занимает минуты, которых у нас нет.В этой статье мы покажем, как подход “Динамической лени”

продолжить чтение

123