rag.
Почему «база знаний в продукте» – это не Wikipedia, а политика доверия
Спросили в чате: «сколько мне спать / есть белка / бегать в неделю». Модель ответила ровно и быстро. Пользователь закрыл вкладку довольный. Через несколько дней эта же цифра оказалась в разговоре с врачом или в строке таблицы с расходами. Вопрос уже не «удобно ли в интерфейсе», а другой: кто в этой цепочке сказал «да, мы это утверждаем»?Wikipedia и прочие открытые базы отвечают на вопрос «что люди вообще накопили про тему». Продукт отвечает иначе: что мы готовы произнести от имени сервиса
LLM — поиск товаров
Всем привет! В данной статье хочу поделится результатам R&D о применении LLM и графов в поиске товаров по текстовому запросу юзера. Данная идея появилась при разработке Retrivier модуля RAG - системы, осуществлявшей поиск по документам. Были высокие требования к качеству ретривера, при этом латенси в 10-20 секунд являлось приемлемым, что позволило применять вызов нескольких тяжелых модулей. Стало интересно, применима ли получившаяся архитектура для поиска не только документов, но и товаров.Цели стоящие перед алгоритмом поиска.
О важности времени в архитектуре систем ИИ
Одной из наиболее недооцененных сил при проектировании систем ИИ является задержка при выполнении вычислений. Когда инженеры говорят о производительности модели, они часто сосредотачиваются на точности, полноте данных и производительности обучения.Но в производственных системах для пользователей огромное значение имеет время. Для них важно, чтобы система отвечала на их запросы достаточно быстро. Потому что даже самая умная система ИИ начинает сильно раздражать, если ответ на запрос пользователя приходит слишком поздно.
ИИ-агенты не справляются не потому что тупые
Сейчас многие компании внедряют ИИ-агентов в свои процессы. И сталкиваются с проблемами. Классический пример: ИИ-агент по продажам самостоятельно пообещал клиенту скидку 50% на которую ему никто не давал разрешения. Явный провал разработчиков ИИ-агентов, хотя на прошлой неделе в демо всё работало идеально.
Мы использовали LLM в разработке ровно год. Рассказываю о реальных результатах
Рассказываю о реальном опыте использования AI в разработке и о тех практических результатах, которых удалось добиться за один год регулярной работы с современными языковыми моделями. Спойлер: получилось многое, но не все.
Когда RAG на горе свистнет: архитектура, метрики оценки и практика тестирования в ПСБ
Одна из ключевых проблем ИИ — склонность к «галлюцинациям», то есть к генерации убедительно звучащих, но ложных ответов. Яркий пример на картинке :) Как это можно исправить или улучшить? Есть разные способы. Одно из самых простых решений, позволяющих значительно повысить точность и достоверность ответов, — RAG (Retrieval Augmented Generation). Это генерация с дополненной выборкой.
Как помочь вашему RAG адаптироваться? Принимайте DRAG with KNEE! Часть 1
Все мы проходили через это: скармливаешь RAG‑системе сложный PDF на 50 страниц, а она в ответ либо галлюцинирует, либо вываливает на LLM простыню нерелевантного текста, съедая ваш бюджет на токены быстрее, чем вы успеваете сказать «GPT-4o». Проблема в том, что классический подход со статическим top_k — это костыль, который либо не додает контекста, либо вызывает у модели информационное «ожирение» (заполняет контекст нерелевантным мусором). Нашему RAG нужно помочь адаптироваться к безжалостной среде разрозненных документов!
MS GraphRAG, Ollama и немного киберпанка
Здравствуйте. Несколько лет глубоко погружён в тему корпоративных RAG-систем. В последнее время, как от коллег, так и от заказчика часто слышу, что векторный поиск это слабое место и вчерашний день, и что нас спасут только графовые системы. Нашел несколько постов и видео на эту тему. Захотелось попробовать. В статье делюсь своими впечатлениями, рефлексирую и рассказываю как воспроизвести эксперименты.Почему Ollama? Выделение вычислительных ресурсов на RAG в проекте - отдельная больная тема. Мне нужно было понять нижнюю планку. Если коротко, кое-как работает даже на 4b моделях.
RAG вместо GPT: как мы сделали внутреннего ассистента для корпоративных данных
В больших компаниях поиск почти всегда «работает». Но это не значит, что сотрудники быстро находят нужное: нередко они тратят часы на попытку вспомнить формулировку, место и контекст.Мы построили внутренний RAG-ассистент в закрытом контуре: изоляция данных, контроль доступа, бенчмарки качества и долгая работа с вендором. В статье — архитектура, переговоры с вендором, ошибки, компромиссы и выводы для тех, кто думает о корпоративном ИИ всерьёз.
