llm.
Оценка агентных систем
Всем привет! Меня зовут Владимир, я DS-инженер и сегодня расскажу, как оценивать агентные системы. Разберём, как замерить и выстроить пайплайн оценки, который показывал бы вам, насколько хорошо повлияли те или иные фичи на качество вашего продукта.ОпределенияПрежде чем погружаться в тестирование, договоримся о терминах:LLM (Large Language Model) — большая языковая модель, обученная предсказывать следующий токен на огромных корпусах текста. Tool (инструмент)
Цена полезного ответа: считаем unit‑экономику ИИ‑сервиса, а не стоимость миллиона токенов
Привет, Хабр! Меня зовут Тимур, я отвечаю за маркетплейс в Cloud.ru: партнеры публикуют в каталоге свои сервисы и приложения, а клиенты облака подключают их в несколько кликов и оплачивают вместе с остальными облачными ресурсами. Все больше таких сервисов строится на ИИ, и работают они в том же облаке, что и клиенты. Поэтому модели и инфраструктура в расчете ниже взяты из каталога Cloud.ru: это наши сервисы, и их тарифы я знаю лучше чужих.
Сутки без человека: как мы в ГНИВЦ выстраиваем управляемую агентскую разработку
Управляемая агентская разработка AI Bootcamp ГНИВЦНедавно в ГНИВЦ прошёл внутренний AI Bootcamp, где команды тестировали ИИ-инструменты на реальных проектах. Одна из тем – как перейти от точечного использования LLM к управляемой агентской разработке.
RAGу для программиста
Внедрение AI в программные продукты часто сопровождается необходимостью обогатить контекст LLM специфичными для ваших задач данными. Для обогащения знаний используемой вами модели применяется два подхода:fine-tuning — дообучение модели на ваших данных. Тут финансовые затраты идут на обучение модели:ресурсы на fine-tuning в случае on-prem решения,дополнительные средства за дообучение модели по подписке.RAG — внешний источник данных, данные из которого передаются в качестве контекста к промпту в LLM. Затраты тут переносятся на размер запроса за счёт увеличения входящего контекста.
Pets.com умер, Amazon выжил. Что пузырь 2000-го говорит об ИИ‑сервисах
10 марта 2 000 года индекс NASDAQ дошёл до пика. К осени 2002-го он потерял почти 78%. Pets.com
Beget Cloud запустил ИИ‑шлюз: единый OpenAI‑совместимый API для LLM
В Beget Cloud появился ИИ‑шлюз, через который можно подключать большие языковые модели: Claude, GPT, GLM, DeepSeek и другие. Подключение идёт через один OpenAI‑совместимый API, оплата — по токенам, ключи управляются в панели. Своя AI‑инфраструктура для этого не нужна. Ниже расскажем, как работает шлюз, для каких задач он подойдёт и как отправить первый запрос.Зачем это нужно
Что такое агрегатор нейросетей и по каким 8 критериям его выбирать: разбор от сервиса
Агрегатор нейросетей - это сервис, который собирает модели для текста, изображений, видео и звука под одной подпиской и одним балансом. Выбирать его стоит не по числу моделей на главной, а по восьми критериям, от которых зависит реальная цена работы: сколько стоит одна генерация, что будет с остатком, есть ли очередь. Ниже каждый критерий разобран на примере SYNTX.AI: как он устроен у нас и почему мы так решили
Как я чуть не написал на лендинге «мы соблюдаем 152-ФЗ»
Привет, Хабр. Меня зовут Денис. Прошлый мой рассказ был про поиск работы и про то, как нейросеть заполняет фильтры, не проглатывая справочник на 140 тысяч токенов. Сейчас другой продукт. Почта. Несколько ящиков, сводка «что сделать сегодня», сроки, черновик ответа. И вот на этом продукте я чуть не совершил самую дорогую маркетинговую ошибку из доступных в России: написать на главной, что мы «соответствуем 152-ФЗ», потому что перед моделью подменяем паспорт и карту метками.Спойлер: это не обезличивание. И юрист мне это объяснил так, что желание ставить галочку прошло.1 Хроника, в которой я сам себе врал
Spec-driven development глазами архитектора: понятные спецификации
Эпиграф«Систему, которую не понимают, нельзя безопасно развивать»Meintjes, Rengaswamy, Katsande, Bikki, InfoQ, 2026В этой статье я, Алексей Соболеков, архитектор решений, разберу зачем и как в агентской разработке формировать понятные спецификации. Ранее я разобрал Роль Solution Architect с приходом AI-агентов: что изменилось в 2026 годуГлавное
«Ты сеньор» и «думай пошагово»: проверил шесть приёмов на 30 задачах по Python
В комментариях к прошлой статье (https://habr.com/ru/articles/1094642/) предложили добавить второй запрос: попросить модель перепроверить код и исправить ошибки. Я проверил один вариант такой просьбы вместе с пятью другими приёмами — ролью, «думай шаг за шагом», давлением, «сначала тесты» и «только код». Условия одинаковые: 30 задач по Python, скрытые тесты, три модели, по три прогона на каждую комбинацию; отдельно записаны токены и время. Про суеверия в промптинге на Хабре писали и раньше (https://habr.com/ru/articles/946816/), но без скрытых тестов, а мне хотелось именно их.Что мерил

