Оценка агентных систем
Всем привет! Меня зовут Владимир, я DS-инженер и сегодня расскажу, как оценивать агентные системы. Разберём, как замерить и выстроить пайплайн оценки, который показывал бы вам, насколько хорошо повлияли те или иные фичи на качество вашего продукта.ОпределенияПрежде чем погружаться в тестирование, договоримся о терминах:LLM (Large Language Model) — большая языковая модель, обученная предсказывать следующий токен на огромных корпусах текста. Tool (инструмент)
Сутки без человека: как мы в ГНИВЦ выстраиваем управляемую агентскую разработку
Управляемая агентская разработка AI Bootcamp ГНИВЦНедавно в ГНИВЦ прошёл внутренний AI Bootcamp, где команды тестировали ИИ-инструменты на реальных проектах. Одна из тем – как перейти от точечного использования LLM к управляемой агентской разработке.
Почему не стоит писать AI-агента с нуля: что скрывается внутри harness
У вас есть модель, API к ней и идея продукта с агентом. Кажется, осталось написать цикл: отправить запрос, получить tool call, выполнить его и отправить результат обратно. Можно приступать к интерфейсу?Я тоже успел так подумать. Потом написал много кода, который писать не следовало, и познакомился с подводными камнями, о существовании которых по простому демо не догадаешься. В этой статье разберу, из каких частей на самом деле складывается агентная система, почему каждая из них превращается в отдельный проект и где стоит приложить собственные усилия.Привет, Хабр! Меня зовут Игорь Цупко. Этот текст вырос из моего
Дешево, но не точно: разбираем контроллер доверия к памяти LLM-агентов
В 2024 году мэрия Нью-Йорка запустила чат-бота MyCity — цифрового помощника для владельцев малого бизнеса. Он должен был стать удобным справочником по городским правилам и законам. Но на деле бот раздавал советы, за которые предпринимателям грозили штрафы и суды, например, не выплачивать до конца чаевые сотрудникам, уволить человека за жалобу на харассмент, и прочее в таком духе.Правильная информация при этом лежала в собственной базе знаний бота наравне с устаревшей. Как оказалось, он просто-напросто не смог выбрать между верным и неверным, когда оба варианта оказались под рукой.
Находки в опенсорсе: мир питона за август 2026
Всем привет, вот и заканчивается лето :(Мой прошлый дайджест неожиданным образом зашел, а значит - людям такое интересно. В августе было много новых интересных PEP’ов (например, PEP 805: Safe Parallel Python), которые я поревьюил, было много новых релизов, было много новых опенсорс проектов чуваков из нашего сообщества, пару интересных подкастов и множество другого интересного!С меня как всегда статья без нейрослопа и ИИ, с вас как всегда интересные комментарии и лайки! Но немного нейрослопа я все же добавил в некоторые свои проекты. Но осторожно и с пользой для всех.
Не хамите чат-ботам: ИИ умеет злиться, но не так, как люди
Задача звучит как парадокс с порога: как измерить состояние у технической системы, к которой неприменим термин «чувствовать»?Ответ на этот вопрос можно найти в работе
Агенты пишут код, а кто его проверяет?
AI-агенты постепенно меняют привычный процесс разработки: человек всё меньше пишет код напрямую и всё больше выступает в роли оркестратора — ставит задачи, направляет агентов, проверяет результат и выстраивает вокруг них целую экосистему инструментов.
Корпоративный мозг на одной видеокарте: что на самом деле умеет локальная модель
Есть компании, где вопрос «какую модель выбрать» отходит на второй план, а первым встаёт другой: выйдут ли данные за периметр. Банк, госкорпорация, оборонный подрядчик, медицинский холдинг. И если ответ «выйдут, но мы всё обезличим» — начинается тяжёлый разговор. Обезличивание не даёт технической гарантии: достаточно одного не вычищенного поля в выгрузке или сочетания признаков, по которому человек восстанавливается. А отвечать за это решение будет конкретный человек — и чем выше цена ошибки, тем охотнее он выбирает вариант, где данные просто никуда не уходят.
Мы запускаем новый подкаст
Пилотный выпуск подкаста «Путь ИИ» — о том, как трансформировать бизнес с помощью искусственного интеллекта. Ведущие — Алексей Белкин, основатель belkin.digital и ex Chief Data Scientist блока «Финансы» Сбера, и Максим Ульянов, руководитель клиентской разработки RUTUBE и автор подкаста «Куда расти?». В этом выпуске разбираем методологию Vibe Evolve: девять принципов агентизации бизнеса, почему 90% AI-пилотов проваливаются и как научить компанию пересобирать саму себя быстрее конкурентов.Из выпуска вы узнаете:
