llm.
Prompt Caching в Claude: Как мы снизили затраты на AI в 2 раза
Prompt Caching в Claude: Как мы снизили затраты на AI в 2 разаКейс по оптимизации затрат на Claude API в проекте по автоматизации поиска работы. AI анализировал вакансии и генерировал сопроводительные письма. При 100 пользователях затраты достигали $180/месяц. Решение: Prompt Caching от Anthropic. Экономия 52% ($0.51 → $0.245 за batch из 50 вакансий). Теперь можно делать в 2 раза больше AI-вызовов с тем же бюджетом.Кому полезно: всем, кто работает с LLM API и хочет оптимизировать затраты.История: Когда AI начал съедать бюджет
Мне 17, завтра отчисление. Пытаюсь понять, не совершаю ли я ошибку, копаясь в AI
Привет, Хабр.Меня зовут Леонид. Этот пост попытка разложить мысли по полкам, потому что завтра я, скорее всего, перестану быть студентом. Последние пару недель я не ходил на пары, и дело не в лени. Дело в том, что я, кажется, нашел что-то более важное, и теперь пытаюсь понять, не самообман ли это.
Почему современные LLM пока не отберут работу у программистов
Целая отрасль замерла в ожидании. Заменит ли LLM программистов? Выпускники школ прямо говорят — зачем поступать на программистов, придёт ИИ и я останусь без работы. В новостях регулярно сообщается о массовых сокращениях в ИТ компаниях. Работодатели пытаются внедрить ИИ и если не уволить, то снизить зарплаты айтишников.
Как мы сделали аналитику контакт-центра на LLM в 7 раз дешевле
ВведениеМы устали слушать звонки.Не из-за любопытства - просто это занимало слишком много времени.Из 5 минут разговора рождались 20 минут отчёта в Excel, где человек вручную отмечал:«вежлив ли оператор», «упомянул ли цену», «отработал ли возражение».Мы построили систему, которая делает это автоматически:Whisper → QLoRA → отчёт → BI.Она оценивает звонки, считает метрики и не жалуется на переработки.Анализ стоит $0.0003 за звонок, и работает это лучше, чем ожидалось.Но не идеально.вот обновлённый фрагмент раздела 1. “От Excel к первому прототипу”
Что такое маршрутизатор LLM?
Большие языковые модели (LLM) стали основой современных ИИ-продуктов, обеспечивая работу всего – от чат-ботов и виртуальных ассистентов до исследовательских инструментов и корпоративных решений. Но LLM различаются по сильным сторонам, ограничениям и стоимости: одни лучше в рассуждениях, другие - в креативе, коде или работе со структурированными запросами. Здесь и нужен маршрутизатор LLM.
Как мы перестали использовать Python в production LLM-системах — и почему это было необходимо
Введение: от демо IDP-системы к production-р��ализацииВ 2023 году мы начали перерабатывать enterprise-продукт для интеллектуальной обработки документов (IDP). В его основе был зрелый, но устаревающий NLP-движок на Java — точный, надёжный, но не способный извлекать сложные сущности или рассуждать над контекстом. Решение казалось очевидным: добавить LLM.
Почему LLM не заменит хорошего разработчика, но сделает его работу быстрее
Все еще встречаются разработчики, которые в своей профессиональной деятельности отказываются использовать LLM. Причины разные: чаще всего это психологический барьер или негативный прошлый опыт - если, конечно, речь не идёт о корпоративных политиках, где использование подобных инструментов строго запрещено.Кто-то «закальцинировался» и не хочет пробовать новое, кто-то опасается ошибок, которые может допустить модель, и которые незаметно уйдут в продакшн, а кто-то разочаровался после неудачных попыток решить более комплексные задачи с помощью модели.
