Langfuse: наблюдаем и отлаживаем LLM-микросервисы без black box
За прошлый год я запустил 5 сервисов с LLM под капотом. Каждый следующий сервис получался лучше предыдущего: мы оттачивали архитектуру, оптимизировали core микросервиса на FastAPI, быстрее выходили на MVP и ловили меньше багов.Но довольно быстро стало понятно: LLM‑сервисы сложно интерпретировать. Для бизнес команды они выглядят как black box. Для инженеров — как набор плохо воспроизводимых состояний.В этой статье я поделюсь практиками, которые:упрощают интерпретацию поведения LLM;делают работу сервиса прозрачной для Product Owners и SME;
Быстрый старт в мониторинг сервисов с LLM под капотом
За прошлый год я запустил 5 сервисов с LLM под капотом. Каждый следующий сервис получался лучше предыдущего: мы оттачивали архитектуру, оптимизировали core микросервиса на FastAPI, быстрее выходили на MVP и ловили меньше багов.Но довольно быстро стало понятно: LLM‑сервисы сложно интерпретировать. Для бизнес команды они выглядят как black box. Для инженеров — как набор плохо воспроизводимых состояний.В этой статье я поделюсь практиками, которые:упрощают интерпретацию поведения LLM;делают работу сервиса прозрачной для Product Owners и SME;
Новогодний подарок: Как я прикрутил LLM к scratch и порадовал ребёнка
Как известно, под новый год случаются чудеса, и этот год не стал исключением. Мне удалось прикрутить LLM в визуальный язык программирования Scratch, чем и обрадовал ребенка. А началось всё в один прекрасный день, когда мой сын - школьник осваивал n8n и ваял телеграм бота. Разговорившись, мы вспомнили, что его увлечение программированием началось со Scratch. И его фраза, что было бы здорово, если бы в scratch была бы встроена иишечка, можно столько прикольных игр сделать, стала отправной точкой для данного проекта. Рассказываю и показываю, как мы реализовали эту безумную идею.
Деплой ML-моделей: что от вас реально ждут на работе
Новички часто не понимают, что именно считается деплоем ML-модели и насколько глубоко в этом нужно разбираться. Ниже я покажу, как деплой выглядит на практике, насколько он важен для начинающего ML-инженера и с какими технологиями имеет смысл познакомиться в первую очередь.Деплой ML-модели — это момент, когда обученная модель становится частью продукта. Модель перестаёт жить в ноутбуке и начинает работать в бизнес-логике: её можно вызывать из других сервисов и систем.В вакансиях ML-инженеров часто упоминают десятки технологий, связанных с деплоем: Docker, Kubernetes, CI/CD и другие.
Prompt Caching в Claude: Как мы снизили затраты на AI в 2 раза
Prompt Caching в Claude: Как мы снизили затраты на AI в 2 разаКейс по оптимизации затрат на Claude API в проекте по автоматизации поиска работы. AI анализировал вакансии и генерировал сопроводительные письма. При 100 пользователях затраты достигали $180/месяц. Решение: Prompt Caching от Anthropic. Экономия 52% ($0.51 → $0.245 за batch из 50 вакансий). Теперь можно делать в 2 раза больше AI-вызовов с тем же бюджетом.Кому полезно: всем, кто работает с LLM API и хочет оптимизировать затраты.История: Когда AI начал съедать бюджет
Адский эксперимент: личный сайт на нищих микросервисах
Микросервисы тут, микросервисы там… Из каждого утюга доносится дивный сказ про прекрасный мир микросервисов. А ведь это всего лишь один вид из десятка архитектурных стилей, который имеет свои достоинства и недостатки.
SmileFace. Когда нейросеть улыбается тебе в ответ
Исходники открыты на GitHub: github.com/konstantinkozhin/SmileFaceОт идеи до смеха в коридореКо Дню программиста в университете нужно было сделать интерактивный стенд — что-то весёлое, но с технологическим смыслом. Квиз или чат-бот казались скучными, хотелось чего-то с человеческим лицом — буквально.Я вспомнил о библиотеках, которые умеют распознавать эмоции по видео, и подумал: а что, если превратить это в игру?Так появилась идея SmileFace
Как я сделал LLM-сервис, который понимает буровые сводки
Привет! Меня зовут Стас, я занимаюсь R&D в компании ROGII.Я пришёл в ROGII после нескольких лет работы «в поле» — от тундры Уренгойских месторождений до Сахалина. Там я понял, что буровые данные живут в хаосе: у каждого вендора — свой формат, у каждой скважины — свой стиль отчёта.Когда я оказался в компании, которая консолидирует буровые данные в облаке, задача встала ребром: нужно научить машину понимать суточные рапорты так же, как это делает инженер.Мы собрали 507 PDF‑файлов (всего 14 678 страниц) и выделили 23 типа отчётов по признаку компании и структуры.
