векторный поиск.

Как накормить ИИ-агента кодом и не разориться на контексте: мой опыт без векторной магии

Как накормить ИИ-агента кодом и не разориться на контексте: мой опыт без векторной магииПрактическое руководство по тому, как я подружилась с большими репозиториями без ML, pgvector (расширение Postgres для работы с векторными эмбеддингами) и слива бюджета на API: выбираю нужные файлы с помощью токенизации, лёгкого стемминга и SQL-запросов.Боль: Закармливать LLM всей кодовой базой — быстрый способ сжечь бюджет, поймать галлюцинации и уснуть в ожидании ответа. Спасение:

продолжить чтение

Как проверить, что ИИ-приложение действительно восстановилось после сбоя

Итак, резервные копии готовы, инфраструктура восстановлена, приложение снова отвечает на запросы. Но можем ли мы доверять его ответам? После сбоя ИИ-помощник рискует использовать устаревшие документы, возвращать отозванные права доступа и повторно выполнять действия, которые уже совершил. Разберемся, как избежать таких ошибок при восстановлении RAG-приложения.

продолжить чтение

Учимся отличать галлюцинации от плохого контекста

Привет, Хабр!Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги.Когда RAG-система выдаёт утверждение, которого нет в источниках, мы обычно называем это «галлюцинацией». Но очень часто за этим симптомом скрываются принципиально разные сбои, и путать их означает лечить не ту болезнь.Модель, к примеру, могла проигнорировать релевантный контекст или не получить его вовсе. А могла сгенерировать ответ из параметрической памяти и задним числом подобрать «подходящую» цитату.

продолжить чтение

Anthropic заблокировала меня и я потерял подписку за $100, но сохранил год работы и собрал личную RAG-базу

Привет, Хабр!Доброго утра!

продолжить чтение

RAG-бот по материалам эксперта: как я мерил качество поиска и почему гибрид оказался хуже чистого вектора

Эксперт попросил бота, который отвечает его голосом и только по его собственным материалам: курсам в PDF, расшифровкам видео и записям занятий. Если ответа в материалах нет, бот должен честно отправить человека к живому эксперту и ничего не придумывать. Я собрал такого бота на Python и Telegram, рассчитывая повозиться с промптами, но на первых же живых вопросах выяснилось, что бот просто не находит нужный материал, и почти всё время ушло на поиск.

продолжить чтение

Искали носки, получили брюки: сравнили шесть способов поиска на одном каталоге

Искали носки, получили брюки: сравнили шесть способов поиска на одном каталогеИскали носки, получили брюки: сравнили шесть способов поиска на одном каталоге

продолжить чтение

RAGу для программиста

Внедрение AI в программные продукты часто сопровождается необходимостью обогатить контекст LLM специфичными для ваших задач данными. Для обогащения знаний используемой вами модели применяется два подхода:fine-tuning — дообучение модели на ваших данных. Тут финансовые затраты идут на обучение модели:ресурсы на fine-tuning в случае on-prem решения,дополнительные средства за дообучение модели по подписке.RAG — внешний источник данных, данные из которого передаются в качестве контекста к промпту в LLM. Затраты тут переносятся на размер запроса за счёт увеличения входящего контекста.

продолжить чтение

ColBERT, MUVERA и скучная идея, которая оказалась выгоднее обеих

Есть особый жанр разочарования, знакомый каждому, кто занимался поиском всерьёз: читаешь статью, где новый метод обходит старый на несколько пунктов, воспроизводишь всё у себя и видишь совсем другую картину. С ColBERT и MUVERA у меня вышло именно так: на обычных текстах обещанного прироста почти не было, зато по дороге выяснилось, где эти методы действительно работают, а где нет.

продолжить чтение

50 лет эволюции поиска по коду: что под капотом кодинговых агентов

продолжить чтение

Как мы научили ИИ-агента понимать чужую кодовую базу: вместо чанков — три источника фактов

Мы — разработчики MetaVision for 1C: AI, десктопной программы для статического анализа конфигураций 1С с ИИ-агентом. Столкнулись с очевидной, в ретроспективе, проблемой: стандартная RAG-схема «порезать код на чанки, посчитать embeddings, достать похожие» на реальных кодовых базах почти не работает. Рассказываем, почему, и что мы построили вместо неё — на живых примерах из нашей программы.

продолжить чтение