Локальный семантический поиск по заметкам как MCP-сервер: нарезка под лимит модели и кэш
У меня есть папка с конспектами созвонов и расшифровками встреч, и искать в ней по слову неудобно: я помню, что обсуждали найм, а в файле написано «собеседование» и «кандидат», и обычный поиск по тексту такой файл не находит. Отправлять заметки во внешний сервис ради эмбеддингов мне не хотелось, поэтому я собрал маленький MCP-сервер, который ищет по смыслу прямо на моей машине, и подключил его к Claude Code. Всё работает без платных API, а заметки не покидают компьютер.
Локальный ассистент для зумов, часть 10: NLI — три места, куда я его примерял, и два, откуда ушёл
Бюджет на квартал согласован и бюджет на квартал не согласован. Для эмбеддингов это почти одна фраза: слова те же, частица не в векторе весит мало. Для встречи это значит, что решили обратное.Вот из-за таких пар в Чароите живёт NLI-модель. Ниже — где она работает третий месяц, где я её снял и почему, и во что это обошлось.Зачем вообще полезНе из-за ленты. Сначала были протоколы.
Семь занятий по локальному RAG на Python от файла до ответа с источниками
Сделал бесплатный курс для тех кто хочет научиться создавать локальные ИИ приложения на Python. За семь занятий разберём помощника, который ищет по вашим документам, отвечает на вопросы и показывает исходные фрагменты для проверки.Чат с документами выглядит просто. Положили файлы в папку, задали вопрос, получили несколько складных предложений. Но стоит ответу разойтись с текстом — и хочется увидеть всю кухню: что нашёл поиск, что отправили модели и откуда она взяла последнюю фразу.В local‑docs‑ai
Гибридный RAG на Налоговом кодексе: восемь находок, семь потерь
В японских боевых искусствах путь мастера описывают тремя иероглифами — 守破離 (Сю-Ха-Ри): сначала следуй форме, затем меняй её, а после перестань от неё зависеть. Нельзя ломать то, что ещё не успел освоить.守 (Сю) — это про то, как, сохранив себя, достичь своей лучшей версии. При чём здесь RAG? Да при том, что, прежде чем рваться к агентным RAG и GraphRAG, надо разобраться с базой — довести до ума уже имеющиеся формы, чтобы получить качественную систему. Поэтому эта статья — про «Сю» продвинутого RAG: как фундаментально поднять качество, не перепрыгивая ступени «навороченности» с неоправданным риском.
- Оставлено в
Векторный поиск: деплой без GPU на Triton Inference Server
Перед каждым ML-разработчиком, после обучения прекрасной модели, которая поднимет бизнесу метрики, а тебе годовую премию, возникает вопрос: а как ее задеплоить в сервисе, чтоб она начала работать?А ты пошел отдыхать.
Почему RAG не умеет в Excel
Треть нашей базы знаний лежит в выгрузках Excel, и на них ИИ-ассистент отвечает хуже всего. Разбираем, что теряется по дороге от ячейки до индекса.Вопрос, на который ассистент не отвечаетУ нас внутренний помощник по методологии. Он ищет по базе из нескольких сотен документов: регламенты в PDF, презентации, записки и примерно треть корпуса в Excel. Справочники категорий, прайс-листы, списки контрагентов. Всё это мы порезали на куски и сложили в векторный индекс, тридцать пять тысяч кусков.Сотрудник спрашивает: «Является ли Северянка нашим партнёром?»
Почему ваша LLM тупеет на больших документах и как ее починить
Привет, Хабр!Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги. Когда Google анонсировал 2M контекста, а Anthropic подкинул еще 100K, наверняка многие подумали, что RAG теперь можно выкинуть на свалку истории. Зачем париться с этими чанками, эмбеддингами и всякой прочей ерундой, если можно просто кинуть в модель весь дамп википедии и спросить ее что угодно?
Как ускорить ИИ-агента с RAG в проде и не слить бюджет: кэшируем ответы на примере ИИ-консультанта
Заметил, и вы наверное тоже, что сейчас почти каждый домен и почти каждый продукт развивает своего ИИ-агента. Яндекс Маркет запустил Маркет AI, который подбирает товары, у Авто.ру есть Авто.ру AI, в Лавке появился ассистент, вот у одного только Яндекса их сколько. А кто-то уже начал перестраивать CJM вокруг агента: пользователь не ходит по фильтрам и каталогу, а просто пишет, что ему нужно. Назвать это полным переходом на агентские интерфейсы или на агентский поиск, конечно, пока нельзя. Но первые шаги уже есть.Я и сам, собственно, «владелец» нескольких таких агентов в е-коме.
Я обучил собственную визуально‑языковую модель меньше чем на 1 млрд параметров
Каково это сегодня — с нуля собрать и обучить собственную визуально‑языковую модель? Именно этот вопрос и подтолкнул меня попробовать самому. Я взял базовую языковую модель, подключил к ней визуальный бэкбон и несколько часов обучал всё это на арендованной GPU в RunPod, пытаясь добиться от модели осмысленных описаний изображений.TL;DR:
