llm. - страница 39

llm.

Оценка агентных систем

Всем привет! Меня зовут Владимир, я DS-инженер и сегодня расскажу, как оценивать агентные системы. Разберём, как замерить и выстроить пайплайн оценки, который показывал бы вам, насколько хорошо повлияли те или иные фичи на качество вашего продукта.ОпределенияПрежде чем погружаться в тестирование, договоримся о терминах:LLM (Large Language Model) — большая языковая модель, обученная предсказывать следующий токен на огромных корпусах текста. Tool (инструмент)

продолжить чтение

Цена полезного ответа: считаем unit‑экономику ИИ‑сервиса, а не стоимость миллиона токенов

Привет, Хабр! Меня зовут Тимур, я отвечаю за маркетплейс в Cloud.ru: партнеры публикуют в каталоге свои сервисы и приложения, а клиенты облака подключают их в несколько кликов и оплачивают вместе с остальными облачными ресурсами. Все больше таких сервисов строится на ИИ, и работают они в том же облаке, что и клиенты. Поэтому модели и инфраструктура в расчете ниже взяты из каталога Cloud.ru: это наши сервисы, и их тарифы я знаю лучше чужих.

продолжить чтение

Сутки без человека: как мы в ГНИВЦ выстраиваем управляемую агентскую разработку

Управляемая агентская разработка AI Bootcamp ГНИВЦНедавно в ГНИВЦ прошёл внутренний AI Bootcamp, где команды тестировали ИИ-инструменты на реальных проектах. Одна из тем – как перейти от точечного использования LLM к управляемой агентской разработке.

продолжить чтение

RAGу для программиста

Внедрение AI в программные продукты часто сопровождается необходимостью обогатить контекст LLM специфичными для ваших задач данными. Для обогащения знаний используемой вами модели применяется два подхода:fine-tuning — дообучение модели на ваших данных. Тут финансовые затраты идут на обучение модели:ресурсы на fine-tuning в случае on-prem решения,дополнительные средства за дообучение модели по подписке.RAG — внешний источник данных, данные из которого передаются в качестве контекста к промпту в LLM. Затраты тут переносятся на размер запроса за счёт увеличения входящего контекста.

продолжить чтение

Pets.com умер, Amazon выжил. Что пузырь 2000-го говорит об ИИ‑сервисах

10 марта 2 000 года индекс NASDAQ дошёл до пика. К осени 2002-го он потерял почти 78%. Pets.com

продолжить чтение

Beget Cloud запустил ИИ‑шлюз: единый OpenAI‑совместимый API для LLM

В Beget Cloud появился ИИ‑шлюз, через который можно подключать большие языковые модели: Claude, GPT, GLM, DeepSeek и другие. Подключение идёт через один OpenAI‑совместимый API, оплата — по токенам, ключи управляются в панели. Своя AI‑инфраструктура для этого не нужна. Ниже расскажем, как работает шлюз, для каких задач он подойдёт и как отправить первый запрос.Зачем это нужно

продолжить чтение

Что такое агрегатор нейросетей и по каким 8 критериям его выбирать: разбор от сервиса

Агрегатор нейросетей - это сервис, который собирает модели для текста, изображений, видео и звука под одной подпиской и одним балансом. Выбирать его стоит не по числу моделей на главной, а по восьми критериям, от которых зависит реальная цена работы: сколько стоит одна генерация, что будет с остатком, есть ли очередь. Ниже каждый критерий разобран на примере SYNTX.AI: как он устроен у нас и почему мы так решили

продолжить чтение

Как я чуть не написал на лендинге «мы соблюдаем 152-ФЗ»

Привет, Хабр. Меня зовут Денис. Прошлый мой рассказ был про поиск работы и про то, как нейросеть заполняет фильтры, не проглатывая справочник на 140 тысяч токенов. Сейчас другой продукт. Почта. Несколько ящиков, сводка «что сделать сегодня», сроки, черновик ответа. И вот на этом продукте я чуть не совершил самую дорогую маркетинговую ошибку из доступных в России: написать на главной, что мы «соответствуем 152-ФЗ», потому что перед моделью подменяем паспорт и карту метками.Спойлер: это не обезличивание. И юрист мне это объяснил так, что желание ставить галочку прошло.1 Хроника, в которой я сам себе врал

продолжить чтение

Spec-driven development глазами архитектора: понятные спецификации

Эпиграф«Систему, которую не понимают, нельзя безопасно развивать»Meintjes, Rengaswamy, Katsande, Bikki, InfoQ, 2026В этой статье я, Алексей Соболеков, архитектор решений, разберу зачем и как в агентской разработке формировать понятные спецификации. Ранее я разобрал Роль Solution Architect с приходом AI-агентов: что изменилось в 2026 годуГлавное

продолжить чтение

«Ты сеньор» и «думай пошагово»: проверил шесть приёмов на 30 задачах по Python

В комментариях к прошлой статье (https://habr.com/ru/articles/1094642/) предложили добавить второй запрос: попросить модель перепроверить код и исправить ошибки. Я проверил один вариант такой просьбы вместе с пятью другими приёмами — ролью, «думай шаг за шагом», давлением, «сначала тесты» и «только код». Условия одинаковые: 30 задач по Python, скрытые тесты, три модели, по три прогона на каждую комбинацию; отдельно записаны токены и время. Про суеверия в промптинге на Хабре писали и раньше (https://habr.com/ru/articles/946816/), но без скрытых тестов, а мне хотелось именно их.Что мерил

продолжить чтение