стоимость LLM.

Автомат направляет, а LLM объясняет: диалог с агентом за 3 рубля

Агент: …чем ты занимаешься по жизни, чтобы я мог подбирать примеры под твои задачи?Человек: сушу булки а ты чем занимаешься?Агент: О, это интересно! Сушка булок — звучит вкусно и наверняка со своими нюансами.Человек: как нейросети мне могут помочь сушить булки? булки это кстати часть тела, а не то что ты подумалАгент: Хах, отлично уточнил! А то я уже представлял хрустящую выпечку.

продолжить чтение

Писать агенту по-английски ради экономии? 40 прогонов: разница 12 токенов на задачу

В чатах про кодинг-агентов регулярно всплывает совет: пишите промпты по-английски, русский съедает в полтора раза больше токенов. Я сам так делал первые пару месяцев. Потом стало интересно, сколько я на этом сэкономил. Сел и посчитал.Сначала токенизаторВзял абзац на русском и его английский перевод, отправил в API и посмотрел, сколько входных токенов насчитала модель. У Opus 5.5 и Sonnet 5.5 токенизатор общий, цифры совпали:по-русски 194 токена (470 символов);по-английски 132 токена (454 символа).В 1,47 раза. Совет не врёт.

продолжить чтение

Нужна ли умная модель для рутины? Дал четырём моделям пять одинаковых задач и сравнил

На этой неделе на Хабре спорили, нужны ли программисту самые умные модели: «Я перестал пользоваться самыми умными ИИ‑моделями». Автор считает, что для рутины хватает дешёвых, а упирается всё теперь в скорость. Под статьёй почти триста комментариев. Я прочитал, наверное, половину: мнений много, замеров на одинаковых задачах не нашёл ни одного. Стало интересно, сел и проверил на своих.Что мерилВзял пять задач из тех, что обычно скидываю агенту и иду за кофе. Всё на Python, от одного до пяти файлов:Off-by-one в пагинации, тест падает, надо починить.

продолжить чтение

Цена за успешный результат: почему дешёвая модель может обойтись дороже дорогой

Всем привет, меня зовут Сергей Прощаев и в этой статье расскажу про то, почему выбор модели по цене за миллион

продолжить чтение

ИИ-Автопилот: поток принятых задач вырос в тринадцать раз

В первой части я рассказал, как из ручного копипаста тикетов в консоль агента вырос ИИ-Автопилот — полный конвейер от YouTrack до проверки в живом 2D/3D GUI. По ощущениям всё летало: бэклог таял, в SVN постоянно появлялись коммиты, пользователи едва успевали проверять готовые задачи.Вот только «по ощущениям» — это ровно та валюта, в которой посчитано большинство статей про ИИ-агентов, и доверия к ней у меня немного. Любая активная система выглядит продуктивной: что-то постоянно собирается, коммитится, переписывается. Отличить эффективность от активности можно только замером.

продолжить чтение

Нашёл модель в 8 раз дешевле. Она начала писать иероглифы в русских новостях

Нашёл модель в 8 раз дешевле. Она начала писать иероглифы в русских новостяхTL;DR — пишу @futur_e_news_bot, двуязычную ленту новостей. Каждая новость проходит через LLM: категория, перевод, тон, разбор. Это ~936 вызовов в сутки, и мне захотелось платить меньше. Я перебрал все бесплатные модели OpenRouter, нашёл платную в 8 раз дешевле текущей, обрадовался и выкатил. Через час в ленте появился заголовок «Как не,让智能手机 перегревать: советы в жару».Бесплатных моделей 17, доступны 3Первая мысль была очевидной: раз есть модели с ценой $0, надо брать их. На OpenRouter таких нашлось 17.

продолжить чтение

Скрытая цена LLM: как KV-cache увеличивает стоимость инференса и как эту проблему решает Google TurboQuant

продолжить чтение