«Давайте просто развернём свою LLM на 1Т параметров»: что пришлось построить вокруг неё в Битрикс24
Привет, Хабр! Меня зовут Сергей Нотевский, я AI Platform Lead в Битрикс24. Моя команда отвечает за модельки под капотом наших AI-сервисов.«Давайте просто развернём свою LLM на 1Т параметров» — с таким названием я выступал в июне на Saint HighLoad++. В статье пройдём тот же путь: от продукта с одним endpoint до платформы вокруг моделей.
Одна строка в системном промпте отключала кеш целиком. 1% против 98% на живых вызовах
Токен из кеша дешевле обычного в разы. Цены на 27 августа 2026:провайдеробычныйиз кешаразницаDeepSeek v4-flash$0.44 / 1M$0.014 / 1M31xOpenAI gpt-5.6-sol$4.00 / 1M$0.40 / 1M10xAnthropic (Sonnet)$3.00 / 1M$0.30 / 1M10x
