Почему RAG не умеет в Excel
Треть нашей базы знаний лежит в выгрузках Excel, и на них ИИ-ассистент отвечает хуже всего. Разбираем, что теряется по дороге от ячейки до индекса.Вопрос, на который ассистент не отвечаетУ нас внутренний помощник по методологии. Он ищет по базе из нескольких сотен документов: регламенты в PDF, презентации, записки и примерно треть корпуса в Excel. Справочники категорий, прайс-листы, списки контрагентов. Всё это мы порезали на куски и сложили в векторный индекс, тридцать пять тысяч кусков.Сотрудник спрашивает: «Является ли Северянка нашим партнёром?»
Почему ваша LLM тупеет на больших документах и как ее починить
Привет, Хабр!Меня зовут Андрей Бирюков. Я — независимый эксперт в области ИТ и ИБ, преподаю в учебных центрах и пишу статьи и книги. Когда Google анонсировал 2M контекста, а Anthropic подкинул еще 100K, наверняка многие подумали, что RAG теперь можно выкинуть на свалку истории. Зачем париться с этими чанками, эмбеддингами и всякой прочей ерундой, если можно просто кинуть в модель весь дамп википедии и спросить ее что угодно?
Как ускорить ИИ-агента с RAG в проде и не слить бюджет: кэшируем ответы на примере ИИ-консультанта
Заметил, и вы наверное тоже, что сейчас почти каждый домен и почти каждый продукт развивает своего ИИ-агента. Яндекс Маркет запустил Маркет AI, который подбирает товары, у Авто.ру есть Авто.ру AI, в Лавке появился ассистент, вот у одного только Яндекса их сколько. А кто-то уже начал перестраивать CJM вокруг агента: пользователь не ходит по фильтрам и каталогу, а просто пишет, что ему нужно. Назвать это полным переходом на агентские интерфейсы или на агентский поиск, конечно, пока нельзя. Но первые шаги уже есть.Я и сам, собственно, «владелец» нескольких таких агентов в е-коме.
Я обучил собственную визуально‑языковую модель меньше чем на 1 млрд параметров
Каково это сегодня — с нуля собрать и обучить собственную визуально‑языковую модель? Именно этот вопрос и подтолкнул меня попробовать самому. Я взял базовую языковую модель, подключил к ней визуальный бэкбон и несколько часов обучал всё это на арендованной GPU в RunPod, пытаясь добиться от модели осмысленных описаний изображений.TL;DR:
PostgreSQL умер, да здравствует… PostgreSQL?
Привет, Хабр. Я хочу рассказать историю, которую вы уже, наверняка, где-то слышали. Только с другой стороны.
RAG, поиск и LongContext: почему сложные пайплайны не всегда нужны
В 2023 году RAG был единственным способом засунуть знания в LLM — контекстное окно было маленьким, часто были галлюцинации. RAG постепенно стал одной из самых популярных технологий, чтобы получить базу знаний, по которой можно искать данные через натуральный язык.Но с другой стороны — RAG-пайплайн тяжёлый и трудозатратный. Компания хочет чат по своей документации. Разработчик говорит: нужен пайплайн — чанкинг, эмбеддинги, векторная база, реранкер. Два-три месяца работы плюс сервис, который надо вечно поддерживать, ради 400-страничной документации. И всё это занимает месяцы, тратит ресурсы ради не такой уж и большой выгоды.
Рейтинг, который не устоял: три проверки, обнулившие сравнение эмбеддингов
Тринадцать способов превратить деловой документ в набор чисел, аккуратная таблица с победителем — и три проверки, которые последовательно её обнулили. История о том, как измерение оказалось интереснее результата.4695 документов · 11 тем · 13 вариантов векторизации · эталон размечен людьми, а не моделью
«Спорт, борщ, крипта»: как мы проверяли, работают ли интересы в рекомендательной системе
В прошлой статье я рассказывал, как устроена рекомендательная система в нашем Telegram‑боте @noiseoffbot. Особенно внимательный читатель заметил «маленькую» несостоятельность одного из рекомендательных сигналов, а конкретно, вектора интересов пользователя. Именно о нем мы сегодня и поговорим.Раньше пользователь мог написать в боте что‑то вроде: спорт, финансыили:ITили:квантовая физика, рецептыМы превращали весь этот текст в один эмбеддинг
Как установить контакт с инопланетянами с помощью LLM
Допустим, в один прекрасный день земные радиотелескопы начнут принимать сигналы радиовещания инопланетян (мощные и незашифрованные, конечно).Как нам понять о чем там речь? Конечно, с помощью LLM!Как работают LLM в двух словах
