Полтора года и 100 миллиардов токенов спустя
Всем привет! Меня зовут Евгений, я работаю разработчиком в Университете Кембриджа.Почти полтора года назад я запустил llm7.io — изначально полностью бесплатный сервис инференса LLM. В первую очередь мне хотелось проверить собственные инженерные навыки и поэкспериментировать с инфраструктурой.За это время через сервис прошло более 100 миллиардов токенов. С чем я только не столкнулся: спам, абьюз, массовые регистрации, попытки обойти ограничения и весьма специфические пользовательские запросы. И поверьте, это лишь вершина айсберга.Как бесплатный сервис перестал быть бесплатным
