Полтора года и 100 миллиардов токенов спустя
Всем привет! Меня зовут Евгений, я работаю разработчиком в Университете Кембриджа.Почти полтора года назад я запустил llm7.io — изначально полностью бесплатный сервис инференса LLM. В первую очередь мне хотелось проверить собственные инженерные навыки и поэкспериментировать с инфраструктурой.За это время через сервис прошло более 100 миллиардов токенов. С чем я только не столкнулся: спам, абьюз, массовые регистрации, попытки обойти ограничения и весьма специфические пользовательские запросы. И поверьте, это лишь вершина айсберга.Как бесплатный сервис перестал быть бесплатным
Механизмы внимания в современных LLM
Прежде чем разбирать оптимизации, зафиксируем базовые понятия:Токен — минимальный фрагмент последовательности, с которым работает модель. Из hidden state каждого токена attention строит query, key и value. Query отвечает на вопрос «что я ищу», Key — “что я содержу”,
Cached input растёт квадратично
TL;DRВ типичных агентских сценариях объем cached input токенов растет квадратично относительно количества ходов. Хорошая модель — модель которая решает задачу за минимальное количество ходов. Цена кэшированного чтения — определяющая характеристика стоимости инференса.Вместо введенияЕдинственная причина, по которой современные авторегрессионные трансформеры вообще пригодны для инференса — это использование KV кэша, без которого каждый следующий токен требовал бы
Зачем Авито нужна своя Inference-платформа для ML-LLM-сервисов: PaaS vs отдельное решение
Привет, Хабр! Меня зовут Антон Алексеев, я ML Ops-инженер в Авито.В этой статье я разберу, почему существующий PaaS — отличный инструмент для веб-сервисов, но плохо подходит для ML/LLM-Inference, и с какими похожими проблемами сталкиваются крупные компании, у которых те же задачи.Также расскажу, почему было принято решение не дорабатывать PaaS под Inference, а строить отдельную Inference-платформу на базе готового open-source ядра, и почему этот путь оказался предпочтительнее.
Сколько стоит суверенитет
Коллеги всю неделю обсуждают релиз претрейна https://huggingface.co/yandex/AliceAI‑Foundation-80B‑A3B‑Base https://habr.com/en/companies/yandex/articles/1083300/
Что значит развернуть LLM локально: два дня с vLLM, DGX Spark и настоящими ограничениями
Когда меня однажды спросили, что такое инференс и как выглядит локальное развёртывание модели, я ответил правильно, но слишком общо: загрузить веса, поднять runtime, отдать API, подключить приложение.Теорию я понимал. Но честный ответ был таким: собственного опыта, в котором всё это проходит путь от файлов модели до работающего пользовательского сценария, у меня тогда не было.Через несколько дней такой опыт появился.
Я прогнал топ VRAM-калькуляторов для LLM — все ошибаются в одном и том же
Я прогнал топ выдачи Google по «llm vram calculator» — от самого навороченного до однокнопочных. Все ошибаются в одном и том же: ни один не моделирует, что движок резервирует почти всю память под пул заранее, а не раздаёт её под KV по мере запросов. Ответ «сколько запросов влезет» из-за этого всегда мимо.Наивное большинство спотыкается ещё и о геометрию KV: на DeepSeek-V2-Lite обычная формула завышает память почти на порядок (в 7–11 раз). Разбираю обе ловушки и сверяю числа с живым vLLM.Ошибка №1: движок забирает память заранееПишете две строки:from vllm import LLM llm = LLM("meta-llama/Meta-Llama-3-8B-Instruct")
Как мы внедрили AIOps для контроля GPU‑утилизации и повысили её на 60%
Привет, Хабр! На связи Даниил Понизов и Роман Лазовский, руководитель и MLOps‑инженер команды ML‑платформы в RWB. Мы занимаемся разработкой платформы машинного обучения, в том числе — контролируем инфраструктуру и эффективное использование ресурсов.Недавно проходил Inside AI Meetup, где мы рассказали про внедрение AIOps практик в нашей команде — видеозапись вы найдете тут.
Инференс LLM: от KV-кэша до продакшен-деплоя
Привет! Я Саша Рыжов, MLOps-инженер в hh.ru, уже три года занимаюсь развитием инфраструктуры для искусственного интеллекта. Компании, которые развивают GenAI, рано или поздно приходят к задачам по запуску LLM на собственном железе. В статье я расскажу, как обстоят дела с движками инференса в 2026 году и как запустить on‑prem-прод и не изобрести при этом велосипед.
