Как оценить библиотеку для ИИ-агентов без слепой проверки финального ответа
Сравниваем ревизии transformers по разным метрикамИИ-агенты для программирования
From Wizard to Warlock: магия в D&D как метафора эпохи LLM
Привет, я Саша Овчинников, старший специалист по тестированию в Контуре. 👋Последние несколько лет я активно пользуюсь LLM для достижения своих личных целей:как глава фехтовального клуба практически полностью автоматизировал процессы в нём;как опытный тренер — написал сложный проект, который превращает разбор боя в нормализованный анализ, удобный для постановки экспериментов;собрал Музу — личного ассистента поверх Obsidian;и многое другое.
Чек-лист тестирования поисковой системы: от engine sanity до RAG и графов знаний
Чек-лист для тестирования поисковых и RAG-систем — от базовой работоспособности поискового движка до качества генерации, агентных сценариев и поведения на неполных данных. Шесть уровней проверок, сводная таблица с инструментами для каждого уровня и глоссарий из 50+ терминов. Проверку стоит организовывать по порядку, нет смысла гонять RAG-метрики, если система не проходит Уровень 0, то проблема может быть в том, что поиск не находит документ из-за опечатки в запросе, а не в качестве генерации. Перед тестированием По каким полям/источникам поиск должен работать, по каким — нет
FINESSE-Bench: как мы обновили финансовый бенчмарк для LLM
В Лаборатории искусственного интеллекта «Финама» мы изучаем и развиваем применение ИИ в финансовом домене: от бенчмаркинга LLM до прикладных сценариев в трейдинге, аналитике и управлении рисками. В предыдущей статье мы рассказывали о первой версии нашего набора бенчмарков для оценки финансовых знаний моделей. С тех пор проект вырос, получил отдельную страницу FINESSE-Bench и заметно изменился — и по объёму, и по качеству, и по строгости методологии.
Жизнь после RAG: MCP, логи и автоматический анализ тикетов Jira
Привет, Хабр! Меня зовут Илья Парамошин, я ведущий инженер в МТС Web Services. В прошлый раз я рассказывал об архитектуре RAG-помощника для технической поддержки: индексации Confluence и Jira, гибридном поиске, генерации ответов с цитатами и оценке качества поиска. А недавно мы опубликовали продолжение — о том, как построили ИИ-агента для анализа тикетов.
Своя GPT-like LLM по WH40K с нуля. Часть 1: токенизируем Империум
Привет, Хабр! Меня зовут Владимир, и я давно хотел погрузиться во вселенную Warhammer40K. И в прошлом году я решил серьёзно подойти к этому вопросу - поискал в интернете с чего начать. Интернет подсказал, что единственный путь начать - почитать Ересь Хоруса. Дальнейший поиск показал
Вышел Grok 4.5 — модель доступна бесплатно в Cursor и Grok Build
SpaceXAI (так теперь называется xAI после слияния со SpaceX) открыла доступ
You don’t need OpenClaw—write your own
Hello, Habr! My name is Nikita Pastukhov—author of FastStream, Principal Engineer, and maintainer of AG2 (a framework for agent development). I’ve been in development for 8 years, and for the last year, I’ve been up to my ears in agents.And I want to prove to you that writing your own agent is no more difficult than writing a CRUD application.Why does this even need to be proven? Because there’s a noticeable gap between what’s happening with AI in the world and what’s happening in the average Russian company:The WorldRussiaEvery company has a subscription to OpenAI / Claude / CopilotDANGEROUS, we host our own modelsA billion startups making AI productsUnclear
Квантование ломает вызов инструментов не так, как показывает BFCL: проверил на MCP-серверах
Есть простая практическая задача, из-за которой я вообще все это затеял. Вы берете маленькую модель, квантуете ее, чтобы она влезла в ноутбучную видеокарту, и хотите заранее понимать, насколько просядет ее способность вызывать инструменты. Обычно для этого смотрят на BFCL или ToolACE: там все измерено, есть таблицы, есть готовые цифры деградации по уровням квантования. И кажется логичным, что этими цифрами можно пользоваться.

