Машинное обучение. - страница 105

Как оценить библиотеку для ИИ-агентов без слепой проверки финального ответа

Сравниваем ревизии transformers по разным метрикамИИ-агенты для программирования

продолжить чтение

From Wizard to Warlock: магия в D&D как метафора эпохи LLM

Привет, я Саша Овчинников, старший специалист по тестированию в Контуре. 👋Последние несколько лет я активно пользуюсь LLM для достижения своих личных целей:как глава фехтовального клуба практически полностью автоматизировал процессы в нём;как опытный тренер — написал сложный проект, который превращает разбор боя в нормализованный анализ, удобный для постановки экспериментов;собрал Музу — личного ассистента поверх Obsidian;и многое другое.

продолжить чтение

Чек-лист тестирования поисковой системы: от engine sanity до RAG и графов знаний

Чек-лист для тестирования поисковых и RAG-систем — от базовой работоспособности поискового движка до качества генерации, агентных сценариев и поведения на неполных данных. Шесть уровней проверок, сводная таблица с инструментами для каждого уровня и глоссарий из 50+ терминов. Проверку стоит организовывать по порядку, нет смысла гонять RAG-метрики, если система не проходит Уровень 0, то проблема может быть в том, что поиск не находит документ из-за опечатки в запросе, а не в качестве генерации. Перед тестированием По каким полям/источникам поиск должен работать, по каким — нет

продолжить чтение

FINESSE-Bench: как мы обновили финансовый бенчмарк для LLM

В Лаборатории искусственного интеллекта «Финама» мы изучаем и развиваем применение ИИ в финансовом домене: от бенчмаркинга LLM до прикладных сценариев в трейдинге, аналитике и управлении рисками. В предыдущей статье мы рассказывали о первой версии нашего набора бенчмарков для оценки финансовых знаний моделей. С тех пор проект вырос, получил отдельную страницу FINESSE-Bench и заметно изменился — и по объёму, и по качеству, и по строгости методологии.

продолжить чтение

Жизнь после RAG: MCP, логи и автоматический анализ тикетов Jira

Привет, Хабр! Меня зовут Илья Парамошин, я ведущий инженер в МТС Web Services. В прошлый раз я рассказывал об архитектуре RAG-помощника для технической поддержки: индексации Confluence и Jira, гибридном поиске, генерации ответов с цитатами и оценке качества поиска. А недавно мы опубликовали продолжение — о том, как построили ИИ-агента для анализа тикетов.

продолжить чтение

Своя GPT-like LLM по WH40K с нуля. Часть 1: токенизируем Империум

Привет, Хабр! Меня зовут Владимир, и я давно хотел погрузиться во вселенную Warhammer40K. И в прошлом году я решил серьёзно подойти к этому вопросу - поискал в интернете с чего начать. Интернет подсказал, что единственный путь начать - почитать Ересь Хоруса. Дальнейший поиск показал

продолжить чтение

Вышел Grok 4.5 — модель доступна бесплатно в Cursor и Grok Build

SpaceXAI (так теперь называется xAI после слияния со SpaceX) открыла доступ

продолжить чтение

You don’t need OpenClaw—write your own

Hello, Habr! My name is Nikita Pastukhov—author of FastStream, Principal Engineer, and maintainer of AG2 (a framework for agent development). I’ve been in development for 8 years, and for the last year, I’ve been up to my ears in agents.And I want to prove to you that writing your own agent is no more difficult than writing a CRUD application.Why does this even need to be proven? Because there’s a noticeable gap between what’s happening with AI in the world and what’s happening in the average Russian company:The WorldRussiaEvery company has a subscription to OpenAI / Claude / CopilotDANGEROUS, we host our own modelsA billion startups making AI productsUnclear

продолжить чтение

habrGPT. Обучим LLM 0.5B с нуля на статьях Хабра с помощью nanochat от Карпатого. Обучение fp8 дома и сравнение с bf16

продолжить чтение

Квантование ломает вызов инструментов не так, как показывает BFCL: проверил на MCP-серверах

Есть простая практическая задача, из-за которой я вообще все это затеял. Вы берете маленькую модель, квантуете ее, чтобы она влезла в ноутбучную видеокарту, и хотите заранее понимать, насколько просядет ее способность вызывать инструменты. Обычно для этого смотрят на BFCL или ToolACE: там все измерено, есть таблицы, есть готовые цифры деградации по уровням квантования. И кажется логичным, что этими цифрами можно пользоваться.

продолжить чтение