Компании стали внедрять стиль речи «пещерного человека» в чат-боты для экономии токенов

Разработчики обратились ^[1] к специализированному инструменту Caveman, который заставляет ИИ генерировать максимально краткие ответы с имитацией стиля речи «пещерного человека». Таким образом компании реагируют на стремительный рост расходов на токены.

Автор инструмента Джулиус Брюсси в своё время обратил внимание ^[2] на то, что значительная часть бюджета компаний расходуется на «болтовню» языковых моделей. Caveman удаляет из ответов чат-ботов слова-связки, приветствия и вводные конструкции, сохраняя программный код, команды, URL-адреса и технические детали. 

Тестирование с Claude и Codex позволило сократить количество генерируемых токенов на 65–75%. При этом пользователям доступны несколько уровней сжатия текста. Брюсси рассказал, что его разработкой уже пользуются сотрудники OpenAI, Nvidia, GitHub и DEPT.

В развитии проекта участвуют и создатели популярных ИИ-моделей, в том числе технический директор OpenAI Шейн Суини, который лично внёс изменения в репозиторий ^[3] Caveman, добавив поддержку фирменного инструмента Codex. Утилита также доступна в виде полноценного автономного агента для работы через терминал, который расходует почти в два раза меньше токенов при выполнении аналогичных задач и полностью совместим с ИИ-системой OpenClaw.

Между тем аналитики Gartner прогнозируют ^[4], что растущее использование программных агентов и моделей ценообразования на основе потребления может привести к беспрецедентному росту расходов разработчиков на ИИ в течение следующих двух лет. Вскоре предприятия будут платить за использование токенов для разработчиков столько же, сколько выделяют на зарплаты.