Ouroboros, очередной инструмент для вашего harness
Harness - построение инфры вокруг LLM таким образом, чтобы man in the loop (человек в процессе поддержки LLM) отсутствовал.Я решил поэкспериментировать некоторое время назад, идея была очень простой - дать агенту возможность дебажить и исследовать написанный код через логгирование до того, как он попадет в чистовик.Дисклеймер: инструмент пилил для себя, результатом доволен, для локальных моделей буст получил, для агентов клода тоже, если есть идеи как дотюнить - добро пожаловать в комментарии.
Облачная LLM на 16 ГБ VRAM — часть 2: LangGraph Server, LangSmith и SDK
Друзья, привет! Возвращаюсь с продолжением.
Как я проектировал интерфейс трейсинга для ИИ‑агентов
Привет, меня зовут Егор, я работаю продуктовым дизайнером в команде, которая разрабатывает облачные сервисы для создания ИИ-агентов. Мне нужно было спроектировать интерфейс трейсинга (tracing), который помогает быстро найти проблемное место и понять, как агент пришел к такому результату. В статье расскажу, какой путь я прошел и что получилось.
LLM Observability & AI Agent Tracing: большой гайд с обзором подходов и open-source решений
В этой статье я структурировал весь опыт и подходы к тому, как мониторить и трейсить LLM и AI-агентов на их основе. Это очень большая и тяжелая статья, но мне хотелось полностью закрыть всю тему за раз и создать крепкий бейзлайн для погружения в тему observability и трейсинга агентов.Поговорим про то, почему все LLM-based решения требуют новых подходов, обсудим ключевые проблемы агентов, посмотрим пару самых популярных решений и обзор всех опенсорсных и зафиналим трендами и направлением, куда все это движется.
