Cached input растёт квадратично
TL;DRВ типичных агентских сценариях объем cached input токенов растет квадратично относительно количества ходов. Хорошая модель — модель которая решает задачу за минимальное количество ходов. Цена кэшированного чтения — определяющая характеристика стоимости инференса.Вместо введенияЕдинственная причина, по которой современные авторегрессионные трансформеры вообще пригодны для инференса — это использование KV кэша, без которого каждый следующий токен требовал бы
Gartner: расходы на использование LLM превысят среднюю зарплату разработчика к 2028 году
Согласно прогнозам консалтинговой компании Gartner к 2028 году расходы на кодинг с использованием LLM превысят среднюю зарплату разработчика в связи с огромным ростом потребления токенов и повсеместным переходом к оплате, основанной на объёме потребления.AI‑токены — это единицы данных, которые обрабатываются генеративными моделями. Потребление токенов напрямую влияет на стоимость инструментов разработки с использованием LLM, особенно при использовании подписок с тарификацией на основе фактического потребления.
Cколько железа нужно ИИ-агенту? Как мы считали ресурсы для on-premise LLM и почему калькуляторы ошиблись в 5 раз
Сколько железа нужно ИИ-агенту? Как мы считали ресурсы для on-premise LLMМы в LLMStart.ru
Токен-оптимизация агентов: на что уходит контекстное окно MCP
Чем больше задач берёт на себя агент, тем чаще он упирается не в качество модели, а в контекстное окно: туда нужно уместить инструкции, историю диалога, схемы инструментов и всё, что эти инструменты возвращают. Я считаю, что токен-оптимизация агентов — то, как мы расходуем это окно — станет одним из ключевых направлений ближайших лет, наравне с выбором модели и качеством промпта.
Показываю, как я заменил JSON на TOON в LLM-промптах и сэкономил 40% токенов
Привет! Меня зовут Андрей, я фронтенд-разработчик в Cloud.ru
OpenRouter выкатили огромное исследование: как реально используют LLM (анализ 100 трлн токенов)
В исследовании изучили 100 трлн токенов живого трафика через OpenRouter (300+ моделей, 60+ провайдеров, миллионы пользователей, до ноября 2025 года).Ключевые выводы 👇Open source закрепился на ~30% и привёл с собой Китай.Открытые модели стабильно держат около трети токенов. Особенно выросли китайские OSS (DeepSeek, Qwen, Kimi): с ~1–2% до до 30% трафика в отдельные недели, в среднем ~13%.
