Агентный RAG, бенчмарк TRuST и при чём здесь Нафаня?
Всем привет! Меня зовут Николай.Сначала отвечу на вопрос из заголовка. Нафаня - это агентный RAG-помощник по нормативно-технической документации, связанной со строительством и ценообразованием (методики Минстроя, ГОСТы, СНиПы, СП и профильные законы).Эта статья о том, как устроен Нафаня, как прошла его проверка на сложном бенчмарке и как архитектура менялась шаг за шагом, чтобы преодолеть потолок метрик.Железо, ограничения и почему архитектура именно такаяВ моём распоряжении домашняя рабочая станция с двумя RTX 4070 по 16 ГБ и одной RTX 5060 на 16 ГБ
Архитектура LLM-агентов для самых маленьких
Являясь LLM активистом, регулярно обсуждаю всякое про новостиинструментытренды в ИИ. И к моему удивлению зачастую люди из IT не понимают базовых вещей в работе LLM и сопутствующих инструментах. Эта статья — переложение доклада на внутреннем митапе. Основная ее цель - обозначить как из сервера с моделью получаются полноценные агентные системы.А начнем мы с того, что представим сервер с развернутой LLM, как рыбку Дори.
Один ход агента — 120 000 токенов. Разбираемся, куда они уходят и как мы это починили
Мы делаем Uma Computer
Почему агент на самом деле дешевле RAG
Наивная арифметика, которая всех обманываетКлассический RAG-ассистент работает так: пользователь пишет вопрос → эмбеддинг → поиск в векторе → один вызов LLM для синтеза. Одна итерация. Чисто, быстро, дёшево. Если ответ правильный.Проблема в том, что с первой попытки он правильный не всегда. Пользователь переспрашивает: «нет, я имел в виду другое». Ассистент делает второй запрос. Потом третий. К четвёртому переспросу пользователь машет рукой и зовёт живого оператора. Оператор тратит 10–15 минут, находит нужный документ, копирует абзац в чат. Вопрос закрыт. Стоимость вопроса — не 1 вызов LLM, а:
Вашему ИИ‑агенту нужна карта: LLM Wiki или README достаточно
vibe coding → agentic engineering → LLM wikiВ предыдущей статье про AI‑инструменты и агентов
Урбан ML: рекомендации, LLM, антифрод и агенты
2 августа в Москве пройдет Урбан ML — открытое мероприятие для специалистов по Data Science, машинному обучению и разработке ИИ-систем.
Почему AI не заменит разработчиков. Или заменит
Уже куча народу высказалась по этому поводу - было и “мы все умрём, мы мамонты с лапками, нас заменят роботы”, было и “я сверхсущество, а эта машина лишь инструмент”.Но я не встретил честной экспертной точки зрения с позиции бизнеса и разработки вместе. Были либо технарские, либо бизнесовые. Бизнес хочет либо “срезать косты”, либо “увеличить продажи”. Точнее даже так - об этом активно говорят бизнесмены, которые пытаются продать ИИ. От них только и слышишь маркетинговые лозунги. Написанные через ИИ.
