Как оценивать RAG-системы: метрики, методы и что измерять в первую очередь
Материал подготовлен для будущих студентов курса «ИИ-архитектор».Когда RAG-система дает сбой, по одному только ответу невозможно понять, почему это произошло. RAG расшифровывается как retrieval-augmented generation – генерация с дополнением через поиск – и это одна из самых распространенных техник проектирования контекста, позволяющая добавлять AI-агентам дополнительную информацию, а значит, и повышать точность их работы. Поскольку RAG – критически важный компонент современных AI-приложений, разработчикам нужен метод оценки LLM, который позволяет выявлять проблемы и отслеживать качество работы RAG.
Право на забвение: как удалить образ человека из системы распознавания лиц и не сломать её
У каждого из нас есть право контролировать использование своих биометрических данных, к которым относится и цифровое описание уникальных черт лица. Проблема в том, что системы видеонаблюдения и аутентификации с функцией распознавания лиц основаны на «патологически памятливых» нейросетях. Однажды увидев лицо, нейросетевая модель запоминает его навсегда, создавая риски для приватности. Из-за этой особенности глубокой нейросети вас могут отслеживать, даже когда это не является необходимым и правомерным. Юридическое «право на забвение» вступает в конфликт со сложностью его реализации.
Базовый минимум. Часть 3: RAG-системы
Дисклеймер: данная лекция подготовлена в первую очередь для непрофильных студентов магистратуры и аспирантуры, которые используют ИИ в учебной, исследовательской и профессиональной деятельности. Материал носит вводный характер и содержит намеренные упрощения. В то же время лекция может быть полезна и более широкой аудитории пользователей ИИ. Буду признателен за замечания и предложения по улучшению.Серия «Базовый минимум» (4 части): Базовый минимум. Часть 1: большие языковые модели;Базовый минимум. Часть 2: промпт-инжиниринг
Как векторные базы данных налаживают взаимопонимание между человечеством и роботами
В 2026 году генеративные модели на основе искусственного интеллекта не всегда понимают, что просил пользователь, и выдают нерелевантные ответы. Векторные базы данных помогают ИИ распознавать смысл, который человек вкладывает в запрос, и быстрее находить нужную информацию.Если в вашем проекте пользователи ищут данные не по точным ключевым запросам, а по смыслу, эта статья для вас. В ней мы расскажем, как работают векторные базы данных, для каких проектов они нужны и как выбрать подходящую в зависимости от задач.
От идей к коду: проверяю теорию внимания на практике
Всем привет, меня зовут Алекс Гусев. Это третья публикация в линейке (раз, два), посвящённой тому, как меняется работа со знанием в условиях его избытка и почему внимание становится ключевым ограничивающим ресурсом.
AI для PHP-разработчиков. Часть 2: практическое использование TransformersPHP
Это вторая часть статьи.Часть 1: Практика без Python и data scienceAI в PHP: не теория, а место, с которого можно начатьВ своей прошлой статье я описал на довольно общем уровне почему тема AI вроде бы везде, но при этом почти не пересекается с повседневной PHP-разработкой. Не потому что PHP "не подходит", а потому что сам разговор обычно идёт мимо наших задач и привычного способа мышления. Ну и, конечно, о том, что почти нет материала, который объясняет AI именно для PHP-разработчиков, их задач и их мышления.
«Привет! Я [0.44, -0.91, 0.66…]» или как научить машину понимать смысл слов
Я уверен, вы видели модели машинного обучения, которые принимают текст и предсказывают, является ли он спамом. Аналогично модель может проанализировать отзыв о фильме и определить его тональность — положительную или отрицательную, понимать что «груша» связана с «яблоком» куда больше, чем с «теплоходом». Первое правило обучения любой модели машинного обучения — это преобразование входных данных в числа. Любой цифровой объект можно представить как некое число: картинку, текст, аудио или видеофайл — практически всё что угодно.
«Привет! Я [0.44, -0.91, 0.66…]» или как научить машину чувствовать смысл слов
Я уверен, вы видели модели машинного обучения, которые принимают текст и предсказывают, является ли он спамом. Аналогично модель может проанализировать отзыв о фильме и определить его тональность — положительную или отрицательную, понимать что «груша» связана с «яблоком» куда больше, чем с «теплоходом». Первое правило обучения любой модели машинного обучения — это преобразование входных данных в числа. Любой цифровой объект можно представить как некое число: картинку, текст, аудио или видеофайл — практически всё что угодно.
Создаем простую систему RAG на Python
Представьте, что вы предоставляете своему ИИ конкретные релевантные документы (или фрагменты), которые он может быстро просмотреть, чтобы найти необходимую информацию, прежде чем ответить на ваши вопросы. То есть, вместо поиска по всей базе данных (которая может не поместиться в контекстное окно модели LLM, или даже если поместится, это потребует много токенов для ответов), мы предоставляем LLM только релевантные документы (фрагменты), которые ему необходимо найти, чтобы ответить на вопрос пользователя.
- Оставлено в
