Harness Bench: как оценить агентский harness и выбрать связку с моделью
Привет! Я Андрей Иванов, NLP-исследователь в R&D-лаборатории red_mad_robot.
Что такое Harness? Полный разбор на примере Claude Code, OpenAI и LangChain
Глубокий разбор того, что на самом деле строят Anthropic, OpenAI, Perplexity и LangChain. Оркестрационный цикл, инструменты, память, управление контекстом — и всё остальное, что превращает stateless LLM в работающего агента.Допустим, вы собрали чатбот. Может, даже прикрутили ReAct-цикл с несколькими инструментами. На демо работает. Но стоит попробовать сделать что-то production-grade — и всё начинает сыпаться: модель забывает, что делала три шага назад, вызовы инструментов падают без ошибок, контекстное окно забивается мусором.Проблема не в модели. Проблема во всём, что её окружает.
