Полтора года и 100 миллиардов токенов спустя
Всем привет! Меня зовут Евгений, я работаю разработчиком в Университете Кембриджа.Почти полтора года назад я запустил llm7.io — изначально полностью бесплатный сервис инференса LLM. В первую очередь мне хотелось проверить собственные инженерные навыки и поэкспериментировать с инфраструктурой.За это время через сервис прошло более 100 миллиардов токенов. С чем я только не столкнулся: спам, абьюз, массовые регистрации, попытки обойти ограничения и весьма специфические пользовательские запросы. И поверьте, это лишь вершина айсберга.Как бесплатный сервис перестал быть бесплатным
Как я довёл расходы на LLM до нуля: почему на бесплатных тарифах параллелизм — враг
Это продолжение первой статьи про Briefka — там я описывал самого бота и базовую архитектуру каскада LLM-провайдеров. За прошедшие 4 месяца бот органически вырос с 59 до 84 пользователей, и именно на этом масштабе бесплатный каскад начал срываться на платного провайдера. Расскажу, почему так вышло и как я вернул расходы к нулю — с цифрами и кодом.Код ниже — реальные фрагменты из боевого Briefka, слегка сокращённые для читаемости: убраны логирование и сбор статистики.Что за каскад (коротко)Вместо одного платного провайдера — лесенка из пяти, с автоматическим фолбэком при rate limit:
