fastapi.

Как подключить Langfuse к LLM через JWT?

Langfuse, помимо трассирования запросов, удобно использовать для prompt management и LLM‑as‑a-judge. Но в корпоративной среде он упирается в простую вещь: LF работает со статическим API key, а ваш inference gateway — нет. Если gateway требует короткоживущий JWT, Langfuse не умеет его получать. И в этот момент интеграция ломается.Мы столкнулись именно с такой ситуацией. Модели self‑hosted, OpenAI подобный API, но для доступа к нему на каждый запрос нужен JWT, который выдаётся централизованным провайдером. Langfuse в LLM Connection умеет передать API key и заголовки, но не сможет сам сходить в auth‑сервис, получить временный токен и подставить его в запрос.

продолжить чтение

Мультиагентная система без LangChain: почему абстракции ломаются и как строить production на чистом Python

ВведениеLangChain обещает красивую жизнь: переключите модель одной строкой, подключите RAG за две, дайте агенту инструменты за три. На лендинге всё выглядит как конструктор LEGO — берёшь кубики, соединяешь, работает. На хакатоне это действительно так. В production — не совсем.Тезис «LangChain — overhead для production» не нов. Его обсуждают в каждом втором треде на Reddit и в комментариях на Хабре. Компания Octomind

продолжить чтение

Open-source персистентная память для LLM

Последние полгода я занимаюсь задачей, которая поначалу казалась тривиальной: научить LLM помнить, с кем она разговаривает.Задача звучит просто. На практике — нет.Если вы строили чат-бот или AI-агента, вы знаете ощущение: пользователь написал, что он вегетарианец, а через три сообщения модель предлагает ему стейк-хаус. Или пациент сообщил об аллергии на пенициллин, а ассистент через час забыл и порекомендовал амоксициллин. В рамках одного контекстного окна всё работает. Но стоит начать новую сессию — чистый лист, модель не помнит ничего.Написал NGT Memory

продолжить чтение

Добавляем в бизнес-портал Битрикс24 роботов для автоматизации

Привет! Меня зовут Игорь Росляков, я технический писатель. По приглашению руководителя направления «Маркет и интеграции» Сергея Вострикова

продолжить чтение

От чат-бота к AI агенту: собираем локальную систему на LibreChat, Langflow и MCP

Всем привет! Меня зовут Николай Луняка. В прошлой статье мы строили локальную систему для транскрибации аудио, и многие из вас откликнулись на тему цифровой независимости. Сегодня продолжим эту линию и соберем агентную AI систему, которая работает локально.

продолжить чтение

От vibe coding к Spec-Driven Development: как приручить скорость ИИ и довести проект до продакшена

Привет, Хабр! На связи Алексей Коржебин, ведущий архитектор в Управлении развития продуктов искусственного интеллекта X5 Tech. В отрасли я уже больше 30 лет. Застал времена, когда код писали на перфокартах (почти), и прошёл путь от разработки софта в разных доменах до архитектуры крупных платформ. Сейчас занимаюсь проектированием корпоративных информационных систем на базе искусственного интеллекта. Также активно внедряю технологии ИИ-агентов в процесс разработки ПО.

продолжить чтение

Почему OpenAI Assistants не подошёл для сложных AI-агентов

О чём статья:Кейс о том, как мы в Soft Skills Lab делали AI‑агенты для EdTech‑продукта:Почему OpenAI Assistants не подошёл для сложных сценариевКакие проблемы возникли со своим бэкендомЗачем понадобилось делать свою платформу для управления агентамиЕсли вы интегрируете AI в продукт и думаете, какой путь выбрать — этот опыт может быть полезен.Запустить AI-агента на OpenAI Assistants — легко. Мы в Soft Skills Lab так и сделали: создали 20 AI-тренажёров для переговоров. Всё работало стабильно, инфраструктура OpenAI — огонь.Но когда мы начали усложнять сценарии — упёрлись в стену.

продолжить чтение

Open-Source AI Фитнес-Тренер: 27 MCP-инструментов, 3 провайдера и граф упражнений

Дисклеймер: это open source, в нем могут быть недостатки, заходите, предлагайте идеи, исправления. Публикую тут в ознакомительных и образовательных целях. Выпилил этот кусок в open source из части личного проекта, о котором писал тут. Весь код писал полностью Claude Code на Opus 4.5 с thinking режимом.Выделили из production-проекта и открыли в open-source PWA-приложение для персонального фитнес-коучинга с AI. Пользователь общается с тренером через чат, а тот создаёт программы тренировок, отслеживает прогресс, предлагает альтернативные упражнения.В статье:

продолжить чтение

Как я заменил BI-дашборд на AI-чат: архитектура RAG-системы для 600K записей

После 10 лет внедрения BI-систем (Qlik Sense, Power BI, Data Lens) я понял одну вещь: дашборд — это не решение. Это данные для решения. А между данными и решением — пропасть, которую преодолевает человек.В этой статье покажу, как построил RAG-систему с чат-интерфейсом для базы из 600 000 записей техники из Федресурса. Без философии — только архитектура, код и грабли.Проблема: почему дашборды не работаютТипичный сценарий. Аналитик открывает дашборд с данными о технике в лизинге. Нужно найти топ-10 компаний с бензовозами в Московской области.Что происходит:Ищет нужный дашборд (их 15 штук)

продолжить чтение

Langfuse: наблюдаем и отлаживаем LLM-микросервисы без black box

За прошлый год я запустил 5 сервисов с LLM под капотом. Каждый следующий сервис получался лучше предыдущего: мы оттачивали архитектуру, оптимизировали core микросервиса на FastAPI, быстрее выходили на MVP и ловили меньше багов.Но довольно быстро стало понятно: LLM‑сервисы сложно интерпретировать. Для бизнес команды они выглядят как black box. Для инженеров — как набор плохо воспроизводимых состояний.В этой статье я поделюсь практиками, которые:упрощают интерпретацию поведения LLM;делают работу сервиса прозрачной для Product Owners и SME;

продолжить чтение

123