prompt caching.

AI-инженерия для тех, кто вкатывается: агенты, MCP, токены и кэш с цифрами

Откройте hh.ru и поищите вакансии со словом «AI-агент». На 28 октября 2026 года их 1 458. LLM упоминают в 1 261 вакансии, RAG в 520, MCP в 245. А теперь поищите «кэширование промптов»: 13 вакансий. Токены упоминают в 19.hh.ru, поиск по всей России, 28.10.2026.

продолжить чтение

Claude Fable 5.1 или GPT-6 Astra для базы знаний: считаем стоимость 20 обращений и границу экономии

Материал команды RaketaPay. Мы занимаемся оплатой зарубежных сервисов; в этом разборе рассматриваем расходы на API, а не оцениваем интеллект моделей.

продолжить чтение

Сколько на самом деле стоит запрос к LLM: формулы, кэш промптов, reasoning-токены и длинный контекст

продолжить чтение

Одна строка в системном промпте отключала кеш целиком. 1% против 98% на живых вызовах

Токен из кеша дешевле обычного в разы. Цены на 27 августа 2026:провайдеробычныйиз кешаразницаDeepSeek v4-flash$0.44 / 1M$0.014 / 1M31xOpenAI gpt-5.6-sol$4.00 / 1M$0.40 / 1M10xAnthropic (Sonnet)$3.00 / 1M$0.30 / 1M10x

продолжить чтение

Почему нейросети съедают токены: что происходит с длинными чатами и как снизить расход

Один пользователь Claude пишет, что потратил больше миллиарда входных токенов. Другой оставил AI-агента без присмотра и насчитал около $6000 расходов. Цифры из Reddit стоит воспринимать осторожно, но проблема за ними реальная: длинный контекст обходится дороже, а иногда ещё и мешает модели нормально работать.

продолжить чтение

Полез в исходники vLLM, чтобы понять, почему один символ убивает prompt caching

В первой части я вывел одно правило и предложил жить по нему: стабильное в начало, изменчивое в хвост

продолжить чтение

Я собрал линтер для юридического соответствия сайтов. Сложнее всего было отличить Google Analytics от CSS‑переменной

Коротко. Сервис открывает чужой сайт и считает штраф по КоАП. Внутри двухуровневая проверка по 22 правилам: дешёвые эвристики на cheerio там, где хватает регулярок, и Claude через российский прокси там, где нужно понять смысл текста. На выходе балл от 0 до 100, список нарушений со статьями КоАП и вилкой штрафа. Законы в основе: 152-ФЗ о персональных данных, 242-ФЗ о локализации, закон о рекламе, закон о защите прав потребителей. Ниже стек, архитектура и грабли. Самая обидная грабля в том, что b в JavaScript не образует границу слова перед кириллицей, и детектор молча слепнет на русском тексте.Зачем я вообще это делал

продолжить чтение

Prompt caching для тех, кто строит LLM-агентов

продолжить чтение

Короткий промпт ≠ дешёвый промпт: как оптимизация ломает prefix cache в LLM-агентах

Привет, Хабр! Меня зовут Сергей Нотевский, я AI Platform Lead в Битрикс24.Это третья статья серии про prefix caching: первая - про экономику кэширования и особенности разных провайдеров, вторая - про антипаттерны в простых сценариях. А здесь про то, как та же механика работает против вас в агентном цикле.TL;DRЕсли на каждом шаге менять tools, system prompt или ранние блоки context, prefix cache будет часто начинаться заново.Поэтому большой, но стабильный список tools иногда дешевле, чем маленький список, который постоянно пересобирается.

продолжить чтение

Code with Claude 2026: что Anthropic показали разработчикам на своей конференции

6 мая 2026 года в Сан-Франциско прошла вторая конференция Anthropic для разработчиков — Code with Claude. Площадку для мероприятия в этот раз расширили: в этот раз взяли бывший автосалон SVN West, так как спрос оказался выше. Следующие 2 конференции пройдут в Лондоне и Токио (19 мая и 10 июня), а записи всех докладов должны опубликовать в ближайшее время на YouTube канале Claude Code. Для тех, кто хочет посмотреть все доклады уже сейчас, опубликовал полную запись в ТГК (5+ часов видео).

продолжить чтение

12