токенизатор.

Писать агенту по-английски ради экономии? 40 прогонов: разница 12 токенов на задачу

В чатах про кодинг-агентов регулярно всплывает совет: пишите промпты по-английски, русский съедает в полтора раза больше токенов. Я сам так делал первые пару месяцев. Потом стало интересно, сколько я на этом сэкономил. Сел и посчитал.Сначала токенизаторВзял абзац на русском и его английский перевод, отправил в API и посмотрел, сколько входных токенов насчитала модель. У Opus 5.5 и Sonnet 5.5 токенизатор общий, цифры совпали:по-русски 194 токена (470 символов);по-английски 132 токена (454 символа).В 1,47 раза. Совет не врёт.

продолжить чтение

Русский текст в Claude Opus 5 стоит в 3,9 раза дороже, чем в GPT-5.5, при одинаковой цене за токен

Цены на API языковых моделей публикуют за миллион токенов, и по этой цифре модели обычно сравнивают. Но «токен» у каждой модели свой. Я прогнал один и тот же русский текст через Claude Opus 5 и GPT-5.5: Opus 5 насчитал в нём в 3,9 раза больше токенов. Значит, при одинаковой цене за токен обработка русского текста на Opus 5 обойдётся почти вчетверо дороже, чем на GPT-5.5, — и это не зависит от того, у кого вы покупаете доступ.

продолжить чтение

Почему токенайзер реж ет сло ва не там, где нужно

Заголовок этой статьи, частично, наглядная демонстрация того, как его видит языковая модель. Куски слов, нарезанные по логике, которая к русскому языку не имеет вообще никакого отношения.

продолжить чтение

Команда Kandinsky выпустила в открытый доступ семейство токенизаторов KVAE-2.0 для генерации изображений и видео

Разработчики Kandinsky выложили

продолжить чтение

Показываю, как я заменил JSON на TOON в LLM-промптах и сэкономил 40% токенов

Привет! Меня зовут Андрей, я фронтенд-разработчик в Cloud.ru

продолжить чтение

MVP по «умному» поиску данных

Всем привет, меня зовут Александр, я аналитик в Альфа-Банке. Совместно с командой мы разрабатываем и развиваем платформу для дата-инженеров (DE) и дата-саентистов (DS), именуемую Feature Store. Она даёт возможность коллегам работать с большими данными и упрощает бюрократию жизненного цикла создания ETL и ввода моделей в промышленную эксплуатацию.Но хотелось бы улучшить процесс по поиску данных в ней, так как объёмы информации стремительно растут.

продолжить чтение