Кристофер Мимс из The Wall Street Journal изучил экономику компаний, использующих искусственный интеллект, и пришел к интересному выводу: несмотря на то, что стоимость токена упала (Мимс не дает оценки, но крупные игроки, вроде Сэма Альтмана, говорят о 10-кратном падении — прим. авт.), общие расходы на ИИ-сервисы выросли. Основной причиной он называет рост популярности рассуждающих моделей, которые качественно решают задачи, но и расходуют при этом намного больше токенов.
Мимс приводит примеры некоторых таких задач. Так, сложное программирование тратит 20-100K токенов, разбор юридических документов 75-250K токенов, а агентские сценарии от 100K до 1M токенов. По оценкам автора и его собеседников, гонка “к самому умному ИИ” стала гонкой “к самому дорогому ИИ”: токены тратятся на перепроверки, выход в сеть, написание вспомогательных программ и длинные пайплайны агентов.
Большие игроки могут долго субсидировать ИИ, вкладывая в инфраструктуру до $100 млрд/год), но стартапам приходится либо идти на снижение маржи, либо переводить пользователей на более простые модели. Например, в Notion на ИИ-расходы сейчас уходит около 10 п.п. маржи – впрочем, общая маржа все равно оценивается примерно в 80%. Для новых пользователей компания убрала ИИ-дополнение из бесплатного и Plus-планов, оставив его только на более дорогих Business и Enterprise.
Больше всего от роста расходов на токены страдают кодинг-ассистенты и сервисы, которые работают с большими документами (юридические, аналитические и техподдержка). Из-за этого компании меняют тарифную политику: например, в Cursor 20-долларовая подписка теперь предоставляет безлимитный доступ к автоматическому выбору модели и Tab-режиму (заполнения написанного кода), а также дает $20 в кредитах на использование передовых моделей. А Anthropic была вынуждена добавить еженедельные лимиты использования в свои подписки Pro и Max после того, как выяснилось, что на 200-доллларовой подписке Max некоторые пользователи умудрялись израсходовать токенов на тысячи долларов (рекорд – $35 тыс) в пересчете на API-цены.
P.S. Поддержать меня можно подпиской на канал “сбежавшая нейросеть“, где я рассказываю про ИИ с творческой стороны.
Автор: runaway_llm
