- BrainTools - https://www.braintools.ru -

Всем привет! Я Артем, Data Scientist в Raft Digital Solutions. Недавно я гонял три мультимодальных эмбеддера на сканах, таблицах и графиках. Расскажу, что в них можно настроить, что это даёт в качестве поиска и что отнимает: время, память [1] GPU и место в индексе.
Начну с задачи. У вас тысячи сканов: договоры, счета, письма, отчёты. Сотрудник спрашивает: «В каком договоре штраф за просрочку 0,1% в день?» Система должна найти нужную страницу.
Обычно страницы переводят в текст с помощью OCR (про один из таких инструментов я писал отдельно: HunyuanOCR на документах [2]) или мультимодальной языковой модели, которая читает скан. Затем текст разбивается на чанки и отправляется в RAG. Для страниц со сплошным текстом такой подход работает. Но он становится менее надёжным, когда смысл зависит не только от слов, но и от визуального представления данных: например, от расположения значений в таблице, формы графика или связей между элементами схемы.
Что проверяем [3]
Наборы данных [6]
Сканы и текст: основной случай для поиска по документам [7]
Сканы [8]
Сжатие картинки [9]
Таблицы [11]
Графики [12]
Инфографика и слайды [13]
Схемы и интерфейсы [14]
Что выбрать [17]
Итог [18]
Я выделил три типа страниц, на которых текстовый поиск может терять информацию:
Однотипные таблицы. Вёрстка и заголовки одинаковые, различаются лишь несколько ячеек. Чтобы ответить на вопрос «В каком регионе безработица выше 5%?», нужно найти конкретное число в таблице. При этом текстовое содержимое страниц может быть почти идентичным (глава «Таблицы»).
Графики, где важны числовые значения. Вопрос «На каком графике ВВП Германии равен 4,84 трлн долларов?» не содержит признаков, по которым легко отличить одну страницу от другой. Ответ зависит от чисел и визуального представления данных, например высоты столбцов (глава «Графики»).
Схемы и интерфейсы. На схеме важно, как связаны блоки и куда ведут стрелки. В интерфейсе смысл может зависеть от того, какой элемент подсвечен и к чему относится шаг инструкции. OCR способен распознать подписи, но не обязательно сохраняет эти пространственные связи (глава «Схемы и интерфейсы»).
Для таких страниц я проверил мультимодальные эмбеддеры и исследовал, какие параметры влияют на качество поиска.
Мультимодальный эмбеддер строит представление страницы по её изображению, а не только по распознанному тексту. Благодаря этому при поиске можно учитывать не только слова, но и визуальную структуру: расположение данных в таблице, форму графика и связи между блоками схемы.
Для таблиц и графиков я сравнивал модели с текстовым поиском по точным описаниям страниц, а не по результатам реального OCR. Это скорее верхняя граница возможностей текстового подхода: описания содержат точные данные и не страдают от ошибок распознавания. Результаты приведены в главах «Таблицы» и «Графики»; в первой также рассматриваются схемы. Для сканов со сплошным текстом я выделил отдельную главу, поскольку это типичный сценарий для текстового поиска.
Я проверил три модели: WeMM-2B, EmbeddingGemma-2 и pplx-embed-late (далее pplx). Эксперименты охватывают сканы, таблицы, графики, инфографику и схемы. Помимо качества поиска, я проверял влияние настроек: разрешения изображения, количества токенов, качества скана и формулировки вопроса.
Сканы и финансовые таблицы лучше всех находит pplx.
Графики по общему виду находит WeMM, хотя там pplx близко; по точному значению на графике лучше pplx: на моих графиках ВВП pplx 0.824 против 0.397 у WeMM.
Инфографику и презентации тоже WeMM, хотя там pplx почти вровень.
EmbeddingGemma-2 на всех реальных наборах позади.
Схемы и интерфейсы я проверил только на синтетике, это проверка механизма. Точные значения для каждого набора в сводной таблице ниже.
На сканах страницу можно ограничить 1 Мп (мегапикселем): токенов, то есть кусочков картинки для модели, становится в 1.8–2.2 раза меньше, а hit@1 у WeMM не меняется, у pplx на DocVQA падает на 0.02; при 0.25 Мп оба заметно падают.
Для сканов и таблиц pplx (но его индекс сильно больше).
Для графиков WeMM, если вопрос про общий вид, и pplx, если про конкретное значение;
для презентаций WeMM.
Если мало GPU и важна скорость, EmbeddingGemma-2.
План такой: три модели и как я проверял, одна таблица со всеми метриками, описание наборов, затем пять частей по типам страниц (сканы и текст, таблицы, графики, инфографика и слайды, схемы и интерфейсы), железо и размер индекса, что выбрать и заключение.
WeMM-2B: один вектор на страницу, 2048 измерений.
EmbeddingGemma-2: один вектор на страницу, 768 измерений.
pplx-embed-late: вектор на каждый токен (по 128 измерений), поиск по схеме late interaction (MaxSim).
Все три принимают страницу целиком и ищут по вопросу на обычном языке. Часть моделей умеет подавать в один вход картинку и текст, например заголовок раздела, и получать один вектор:
WeMM-2B: картинка и текст в одном сообщении (по документации).
EmbeddingGemma-2: метка <|image|> внутри текста, общий бюджет 8 192 токена, одна картинка по умолчанию занимает 280 (по документации).
pplx: смешанный вход не поддерживается, картинки и текст кодируются отдельными вызовами.
Один тест выглядит так. Все страницы набора превращаются в векторы и кладутся в Qdrant. Вопрос тоже превращается в вектор, Qdrant возвращает 20 ближайших страниц. Смотрим, на каком месте стоит нужная страница.
Главная метрика hit@1: доля вопросов, у которых нужная страница на первом месте. Если у вопроса несколько подходящих страниц, засчитывается любая из них.
Разности между настройками и между моделями считаются парно, на одних и тех же вопросах, интервал 95% даёт bootstrap (пересчёт на случайных перевыборках страниц) по верной странице. Интервалы самих hit@1 посчитаны тем же bootstrap-ом, 2000 повторов. Разности с базой приведены для сжатия на DocVQA и ChartQA, в остальных таблицах стоят интервалы самих hit@1.
Если интервал разности содержит ноль, пишу «в пределах шума»: разницу на моих данных отличить нельзя, но это не доказывает, что её нет.
В каждом прогоне есть контроль: запросы перемешаны между страницами. hit@1 контроля должен быть ниже 0.10, иначе модель угадывает не по смыслу.
Термины
Late interaction (MaxSim) это поиск, где у страницы и у вопроса по вектору на каждый токен, а близость считается по лучшим парам токенов.
Лимит 2.18 Мп это максимум пикселей страницы, который я подавал моделям в базовом замере. У WeMM токен картинки это кусок страницы около 32×32 пикселя.
Все метрики одной таблицей
Базовый замер: страница в родном размере (лимит 2.18 Мп), бюджет EmbeddingGemma-2 280 токенов, только картинка.
Везде hit@1, лучший результат в строке выделен.
Пул это число страниц в индексе.
hit@1 разных наборов напрямую не сравнивается: пулы и вопросы разные.
Один тип данных встречается с разным числом вопросов, потому что это разные наборы вопросов: ChartQA в сводной таблице 486 вопросов, а лестница сжатия на графиках идёт на другом срезе: 300 других графиков из обучающей части и 626 вопросов; таблицы из 25 страниц в сводной таблице 75 вопросов, в разборе описаний рядом 154; у DocVQA в сводной таблице пул 300 страниц, а в лестницах 280: это число страниц, на которые есть вопросы.
|
Тип страниц |
Набор |
Происхождение |
Пул |
Вопросов |
EG2 |
WeMM |
pplx |
|
Инфографика и слайды |
InfoVQA |
реальная инфографика |
500 |
500 |
0.668 |
0.852 |
0.846 |
|
|
SlideVQA |
реальные слайды презентаций |
1 284 |
410 |
0.763 |
0.946 |
0.937 |
|
Графики |
ChartQA |
реальные графики |
300 |
486 |
0.514 |
0.691 |
0.611 |
|
|
ChartQA, срез для сжатия |
реальные графики из обучающей части ChartQA, другие 300 графиков и другие вопросы |
300 |
626 |
0.200 |
0.514 |
0.275 |
|
|
PlotQA |
научные графики, синтетика |
1 000 |
500 |
0.672 |
0.840 |
0.754 |
|
|
Графики ВВП |
синтетика, столбчатые графики ВВП пяти стран по годам |
100 |
609 |
0.455 |
0.397 |
0.824 |
|
Таблицы |
TAT-DQA |
реальные страницы финансовых отчётов |
274 |
1 000 |
0.306 |
0.578 |
0.650 |
|
|
Таблицы, 25 штук |
синтетика, однотипные, отличаются ячейками |
25 |
75 |
0.413 |
0.373 |
0.947 |
|
|
Таблицы, 100 штук |
синтетика, однотипные, отличаются ячейками |
100 |
300 |
0.327 |
0.337 |
0.900 |
|
|
Таблицы, 60 строк |
синтетика, длинные таблицы |
25 |
75 |
0.333 |
0.347 |
0.693 |
|
Сканы документов |
DocVQA |
реальные сканы и фото документов |
300 |
1 000 |
0.380 |
0.605 |
0.678 |
|
|
MP-DocVQA, пул 409 |
реальные страницы многостраничных документов |
409 |
500 |
0.364 |
0.610 |
0.674 |
|
|
MP-DocVQA, пул 1 499 |
те же вопросы, пул шире |
1 499 |
500 |
0.286 |
0.532 |
0.570 |
|
|
Русские сканы |
10 синтетических деловых страниц с «соседями» |
282 |
228 |
0.382 |
0.846 |
0.890 |
|
|
Внутренний корпус |
документы компании |
545 |
46 |
0.217 |
0.609 |
0.783 |
|
Схемы |
Схемы разреженные |
синтетика, блоки с подписями |
25 |
48 |
0.896 |
0.875 |
0.958 |
|
|
Схемы плотные |
синтетика, много блоков |
25 |
50 |
0.400 |
0.420 |
0.700 |
|
|
Схемы без подписей |
синтетика, блоки без текста |
20 |
20 |
0.300 |
0.300 |
0.200 |
|
Интерфейс |
Скриншот с подписью шага |
синтетика, скриншот со стрелкой |
25 |
25 |
0.520 |
1.000 |
1.000 |
|
|
Скриншот без подписи |
синтетика, скриншот со стрелкой |
25 |
25 |
0.600 |
0.960 |
1.000 |
Реальные наборы дают цифры с оговоркой об однозначности вопросов (см. таблицу набора в каждой главе).
Синтетика проверяет механизм: нужная страница известна по построению, вопросы написаны по шаблонам, к реальным документам цифры не переносятся.
У русского набора 10 независимых страниц, у внутреннего корпуса 46 вопросов.
Внутренний корпус считается по любой правильной странице, у части вопросов их несколько.
InfoVQA. Инфографика из интернета. 500 картинок и 500 вопросов, по одному на картинку, вопросы размечены вручную. Английский.
SlideVQA. Слайды презентаций: текст, цифры, диаграммы, таблицы. Корпус 1 284 слайда, 556 вопросов; у 146 вопросов подходит несколько слайдов, в замер взяты 410 вопросов с одной правильной страницей.
ChartQA. Графики разных видов. Для замера взяты 300 случайных графиков и 486 вопросов (236 написали люди, 250 сгенерированы). Одна правильная картинка на вопрос.
Другие 300 графиков из обучающей части ChartQA и 626 вопросов к ним, список взят подряд, не случайно; с графиками основной таблицы он не пересекается. В срезе только вопросы, написанные людьми, а основная таблица смешивает 236 человеческих и 250 сгенерированных, и сгенерированные всем даются заметно легче (у WeMM 0.824 против 0.551 на человеческих). На человеческих вопросах у WeMM 0.551 против 0.514 в срезе, разница в пределах шума. У pplx 0.449 против 0.275 и у EmbeddingGemma-2 0.386 против 0.200 разрыв значимый, и я его не объясняю: составы вопросов и графиков срезов не сравнивал, контрольного прогона на случайных графиках train не делал. Порядок моделей везде один (WeMM, pplx, EmbeddingGemma-2), поэтому срез годится для сравнения внутри себя (на нём стоит лестница сжатия), но не для сравнения абсолютных значений с основной таблицей.
PlotQA. Научные графики (показатели стран по годам), синтетика. Корпус 9 590 графиков, для замера 500 случайных вопросов и пул 1 000 графиков (500 правильных и 500 случайных).
TAT-DQA. Страницы финансовых отчётов с таблицами. Пул 274 страницы, 1 000 вопросов. Вопрос привязан к документу, в оценку идёт одна страница на документ; у 16% документов (45 из 274) ответ может быть на нескольких страницах. Остальных страниц таких документов в пуле нет, поэтому поиск сразу нескольких нужных страниц я не измерял.
DocVQA. Сканы документов, вопросы про содержимое. 300 страниц и 1 000 вопросов.
MP-DocVQA. Страницы многостраничных документов. 500 вопросов, пулы 409 и 1 499 страниц со случайными лишними страницами.
Русские сканы. 10 страниц деловых документов (договоры, выписка из реестра, чек) из публичного бенчмарка, страницы синтетические. 228 вопросов написал я по транскрипции: 120 с опознающими словами (номер договора, стороны) и 108 только про деталь. К страницам добавлены «соседи» в пяти вариантах качества, таблицы Росстата и конспекты: до 282 страниц.
Внутренний корпус. 67 внутренних документов компании (docx, pdf, doc), пул 545 страниц, 46 вопросов. Страницы не публикуются, метрики допустимы.
Мои синтетические наборы. Графики ВВП, таблицы, схемы и скриншоты интерфейса я сделал сам: нужная страница известна по построению, вопросы написаны по шаблонам (год, значение, порядок, ячейка, итог, подпись блока). Реальных схем и скриншотов в статье нет.
ViDoRe V3 (industrial). Страницы промышленных документов, английская часть: 5 244 страницы и 283 вопроса. К вопросу размечено несколько страниц: оценка 2 значит «страница полностью отвечает», оценка 1 «страница нужна для ответа». В среднем 5.7 страницы на вопрос; у 80 вопросов страница одна, у 203 две и больше. Текст страниц взят из готовой разметки авторов набора, а не из нашего распознавания. Карточка pplx заявляет замер на ViDoRe V3, поэтому набор может быть для неё привычным.
Это обычный случай текстового RAG: страницы, где смысл лежит в строках. Здесь разобраны все настройки: сжатие, качество скана, формулировка вопроса, число страниц, картинка или текст.
Сканы из DocVQA и русский деловой документ из моего набора. Вопрос к каждой странице написан по её содержимому.
Вопросы русского набора написаны по тексту страниц, например «Какова ежемесячная плата за аренду бункера в Серпухове?»
Страница в родном размере (лимит 2.18 Мп), бюджет EmbeddingGemma-2 280 токенов, только картинка. hit@1 и интервал 95%.
|
Набор |
Что в нём |
Пул |
Вопросов |
EG2 |
WeMM |
pplx |
|
DocVQA |
сканы и фото документов |
300 |
1 000 |
0.380 [0.336, 0.422] |
0.605 [0.564, 0.646] |
0.678 [0.640, 0.715] |
|
MP-DocVQA |
страницы многостраничных документов |
409 |
500 |
0.364 [0.319, 0.410] |
0.610 [0.565, 0.655] |
0.674 [0.631, 0.717] |
|
MP-DocVQA, пул шире |
те же вопросы |
1 499 |
500 |
0.286 [0.243, 0.327] |
0.532 [0.485, 0.579] |
0.570 [0.526, 0.618] |
|
Русские сканы |
10 синтетических деловых страниц с «соседями» |
282 |
228 |
0.382 [0.270, 0.506] |
0.846 [0.780, 0.909] |
0.890 [0.819, 0.947] |
|
Внутренний корпус |
документы компании |
545 |
46 |
0.217 |
0.609 |
0.783 |
Текст вопроса совпадает у вопросов к разным страницам примерно в каждом десятом случае DocVQA. Если их убрать, порядок моделей тот же. Смысловая неоднозначность («что на оси x?») этим не ловится, так что цифры остаются нижней границей.
Пример удачного поиска. Вопрос: «Какова ежемесячная плата за аренду бункера в Серпухове?» Нужная страница: стр. 2 (договор аренды, 60 000 рублей в месяц). Все три модели поставили её на первое место.
Вопрос называет Серпухов и бункер, и этого хватило.
Нужная страница

Вторая у WeMM (договор на стр. 8)

Вторая у EmbeddingGemma-2 (таблица Росстата)

Я ограничивал размер картинки лимитом 0.25, 0.5 и 1.0 Мп и сравнивал с базовым 2 Мп, а ещё сжимал страницу по площади в k раз от ÷1 до ÷5. Лимиты проверены на русском наборе (228 вопросов, 10 страниц) и на DocVQA, сжатие в k раз на DocVQA. Интервалы на русском широкие, потому что независимых страниц десять. Парное сравнение с базой на тех же вопросах даёт интервалы уже.
Лимит пикселей на русском наборе (228 вопросов, 10 независимых страниц, пул с соседями 282), hit@1, без интервалов:
|
Лимит |
EmbeddingGemma-2 |
WeMM-2B |
pplx |
|
2 Мп (база) |
0.382 |
0.846 |
0.890 |
|
1 Мп |
0.386 |
0.838 |
0.899 |
|
0.5 Мп |
0.390 |
0.759 |
0.807 |
|
0.25 Мп |
0.645 |
0.693 |
0.645 |
|
0.125 Мп |
0.548 |
— |
— |
При 1 Мп токенов в 2.2 раза меньше, а на русском наборе качество практически не меняется, в пределах шума. При 0.5 и 0.25 Мп потеря уже заметна. На DocVQA падение мягче.
Сжатие по площади, DocVQA (1000 вопросов, 280 страниц): ÷1 это исходный размер, шаг 0.5 до ÷5. Метрики с интервалом 95%, MRR@10 без интервала.
|
Сжатие |
Пиксели на страницу, средн. |
hit@1 |
hit@5 |
hit@10 |
MRR@10 |
|
÷1 |
— |
0.605 [0.564, 0.646] |
0.801 [0.768, 0.832] |
0.860 [0.834, 0.885] |
0.693 |
|
÷1.5 |
1432180 (≈1196²) |
0.613 [0.572, 0.654] |
0.807 [0.776, 0.837] |
0.858 [0.832, 0.884] |
0.696 |
|
÷2 |
1083162 (≈1040²) |
0.613 [0.576, 0.652] |
0.806 [0.774, 0.837] |
0.860 [0.836, 0.885] |
0.696 |
|
÷2.5 |
870143 (≈932²) |
0.599 [0.560, 0.639] |
0.802 [0.772, 0.832] |
0.856 [0.829, 0.882] |
0.688 |
|
÷3 |
725124 (≈851²) |
0.600 [0.560, 0.640] |
0.806 [0.777, 0.834] |
0.859 [0.833, 0.885] |
0.690 |
|
÷3.5 |
621536 (≈788²) |
0.594 [0.555, 0.635] |
0.807 [0.775, 0.838] |
0.855 [0.828, 0.882] |
0.685 |
|
÷4 |
543808 (≈737²) |
0.604 [0.564, 0.643] |
0.799 [0.767, 0.831] |
0.856 [0.829, 0.882] |
0.689 |
|
÷4.5 |
483297 (≈695²) |
0.585 [0.543, 0.626] |
0.801 [0.770, 0.832] |
0.852 [0.824, 0.878] |
0.678 |
|
÷5 |
434958 (≈659²) |
0.606 [0.566, 0.646] |
0.785 [0.754, 0.816] |
0.847 [0.820, 0.874] |
0.686 |
Держится ровно: на ÷5 hit@1 и hit@10 почти те же, что на базе.
Это касается DocVQA: на графиках (ниже) WeMM теряет уже при ÷1.5, так что допустимое сжатие зависит от набора.
На русском наборе то же, что у WeMM: при 1 Мп качество не меняется, при 0.5 и особенно 0.25 Мп падает. На DocVQA потеря растёт плавно; уже при ≈1 Мп (÷2) она небольшая, но не нулевая (около 0.02).
|
Сжатие |
Пиксели на страницу, средн. |
hit@1 |
hit@5 |
hit@10 |
MRR@10 |
|
÷1 |
— |
0.678 [0.640, 0.715] |
0.829 [0.802, 0.855] |
0.856 [0.831, 0.880] |
0.739 |
|
÷1.5 |
1432180 (≈1196²) |
0.664 [0.624, 0.703] |
0.830 [0.804, 0.856] |
0.861 [0.836, 0.884] |
0.734 |
|
÷2 |
1083162 (≈1040²) |
0.659 [0.619, 0.699] |
0.831 [0.805, 0.857] |
0.862 [0.838, 0.885] |
0.731 |
|
÷2.5 |
870143 (≈932²) |
0.656 [0.618, 0.695] |
0.833 [0.806, 0.859] |
0.862 [0.837, 0.885] |
0.732 |
|
÷3 |
725124 (≈851²) |
0.654 [0.614, 0.692] |
0.820 [0.793, 0.847] |
0.857 [0.831, 0.880] |
0.725 |
|
÷3.5 |
621536 (≈788²) |
0.641 [0.602, 0.680] |
0.818 [0.791, 0.845] |
0.854 [0.830, 0.877] |
0.715 |
|
÷4 |
543808 (≈737²) |
0.640 [0.598, 0.680] |
0.808 [0.781, 0.837] |
0.852 [0.826, 0.876] |
0.714 |
|
÷4.5 |
483297 (≈695²) |
0.636 [0.595, 0.676] |
0.801 [0.774, 0.828] |
0.853 [0.828, 0.878] |
0.710 |
|
÷5 |
434958 (≈659²) |
0.616 [0.576, 0.656] |
0.809 [0.781, 0.837] |
0.850 [0.824, 0.874] |
0.699 |
hit@1 теряет плавно, а hit@10 почти не меняется.
Токены у неё задаёт бюджет, поэтому лимиты 1 и 0.5 Мп ничего не меняют: на русском наборе результат на 2, 1 и 0.5 Мп практически один. При 0.25 Мп он неожиданно сильно растёт, при 0.125 Мп снова снижается, то есть зависимость немонотонная. На DocVQA при 0.25 Мп прирост совсем небольшой. До уровня WeMM и pplx на базе этот рост её не доводит. Бюджет токенов в сводной таблице базовый, 280: больший бюджет помогает не везде (таблица ниже), а при 0.25 Мп ничего не добавляет. Контроль перемешанных запросов в норме, эффект измерен на 10 страницах. Причину я не выяснил: гипотеза в том, что наше уменьшение со сглаживанием даёт модели более чистую картинку, чем её собственное;
hit@1 EmbeddingGemma-2 при разном бюджете токенов на страницу (страница в родном размере, без интервалов):
|
Набор |
70 |
140 |
280 (база) |
560 |
1120 |
|
DocVQA |
0.258 |
0.373 |
0.380 |
0.428 |
0.374 |
|
TAT-DQA |
0.061 |
0.212 |
0.306 |
0.287 |
0.247 |
|
ChartQA, срез для сжатия |
0.181 |
0.188 |
0.200 |
0.200 |
0.200 |
|
Внутренний корпус (46 вопросов) |
0.141 |
0.333 |
0.217 |
0.420 |
0.496 |
Для внутреннего корпуса прогонки бюджета в реестре считаются по первой правильной странице, а база остальной статьи по любой правильной (при 280 это 0.196 против 0.217); разница в пределах одного вопроса из 46, вывод о росте бюджета это не меняет.
Эффект зависит от набора: на графиках и TAT-DQA бюджет ничего не добавляет, на DocVQA лучший 560 (плюс около 0.05), на внутреннем корпусе рост заметный. На DocVQA и TAT-DQA она и при лучшем бюджете остаётся ниже WeMM и pplx.
Сжатие по площади, DocVQA (1000 вопросов, 280 страниц): ÷1 это исходный размер, шаг 0.5 до ÷5. Метрики с интервалом 95%, MRR@10 без интервала.
|
Сжатие |
Пиксели на страницу, средн. |
hit@1 |
hit@5 |
hit@10 |
MRR@10 |
|
÷1 |
— |
0.380 [0.336, 0.422] |
0.634 [0.593, 0.675] |
0.706 [0.669, 0.742] |
0.488 |
|
÷1.5 |
1432180 (≈1196²) |
0.381 [0.337, 0.423] |
0.628 [0.586, 0.668] |
0.703 [0.665, 0.740] |
0.487 |
|
÷2 |
1083162 (≈1040²) |
0.384 [0.341, 0.424] |
0.629 [0.588, 0.668] |
0.703 [0.665, 0.740] |
0.488 |
|
÷2.5 |
870143 (≈932²) |
0.381 [0.337, 0.422] |
0.619 [0.576, 0.660] |
0.699 [0.662, 0.734] |
0.486 |
|
÷3 |
725124 (≈851²) |
0.383 [0.340, 0.426] |
0.625 [0.583, 0.665] |
0.700 [0.662, 0.736] |
0.484 |
|
÷3.5 |
621536 (≈788²) |
0.377 [0.335, 0.418] |
0.619 [0.578, 0.659] |
0.700 [0.662, 0.736] |
0.483 |
|
÷4 |
543808 (≈737²) |
0.377 [0.333, 0.419] |
0.609 [0.566, 0.649] |
0.694 [0.657, 0.729] |
0.477 |
|
÷4.5 |
483297 (≈695²) |
0.368 [0.325, 0.409] |
0.610 [0.569, 0.648] |
0.685 [0.646, 0.721] |
0.470 |
|
÷5 |
434958 (≈659²) |
0.363 [0.320, 0.405] |
0.597 [0.555, 0.638] |
0.670 [0.632, 0.706] |
0.462 |
Разность hit@1 с базой на тех же вопросах (DocVQA, 1000 вопросов), интервал 95%:
|
Модель |
÷1.5 |
÷2 |
÷5 |
|
EmbeddingGemma-2 |
+0.001 [-0.008, +0.010] |
+0.004 [-0.007, +0.015] |
-0.017 [-0.042, +0.010] |
|
WeMM-2B |
+0.008 [-0.010, +0.025] |
+0.008 [-0.012, +0.028] |
+0.001 [-0.022, +0.023] |
|
pplx |
-0.014 [-0.028, +0.000] |
-0.019 [-0.034, -0.003] |
-0.062 [-0.084, -0.041] |
Почти не меняется: hit@1 и hit@10 чуть снижаются, всё в пределах интервалов базы; в разностях с базой WeMM и EmbeddingGemma-2 не отличаются даже на ÷5, pplx теряет уже на ÷2.
Плотность здесь доля тёмных пикселей на странице (серый ниже 128), страницы разбиты на четыре равные группы по этой доле, Q4 самые плотные. Это прокси: сложность вопроса с плотностью смешана. hit@1 и интервал 95%, база и лимит 0.25 Мп:
|
Квартиль плотности |
WeMM-2B база |
WeMM-2B 0.25 Мп |
pplx-embed-late база |
pplx 0.25 Мп |
|
Q1 |
0.537 [0.453, 0.618] |
0.528 [0.445, 0.611] |
0.659 [0.579, 0.737] |
0.568 [0.476, 0.660] |
|
Q2 |
0.578 [0.496, 0.657] |
0.570 [0.489, 0.651] |
0.624 [0.541, 0.706] |
0.561 [0.483, 0.640] |
|
Q3 |
0.656 [0.561, 0.737] |
0.598 [0.504, 0.690] |
0.717 [0.635, 0.792] |
0.602 [0.514, 0.682] |
|
Q4 |
0.638 [0.560, 0.710] |
0.528 [0.445, 0.615] |
0.703 [0.635, 0.772] |
0.576 [0.492, 0.657] |
|
Квартиль плотности |
WeMM-2B база |
WeMM-2B 0.25 Мп |
pplx-embed-late база |
pplx 0.25 Мп |
|
Q1 |
0.651 [0.552, 0.746] |
0.552 [0.444, 0.655] |
0.754 [0.667, 0.837] |
0.496 [0.381, 0.607] |
|
Q2 |
0.535 [0.444, 0.624] |
0.442 [0.349, 0.535] |
0.612 [0.520, 0.696] |
0.399 [0.314, 0.488] |
|
Q3 |
0.496 [0.415, 0.585] |
0.435 [0.329, 0.537] |
0.573 [0.476, 0.671] |
0.423 [0.325, 0.516] |
|
Q4 |
0.631 [0.541, 0.717] |
0.377 [0.277, 0.480] |
0.660 [0.561, 0.752] |
0.492 [0.393, 0.594] |
У WeMM на самых плотных страницах (Q4) падение самое резкое на обоих наборах, а на разреженных страницах DocVQA разницы почти нет. pplx теряет на всех квартилях, на TAT-DQA сильнее всего на разреженных. Большинство интервалов квартилей перекрываются, это тенденция, а не подтверждённая разница; исключение у pplx на TAT-DQA Q1, где интервалы базы и 0.25 Мп не пересекаются.
Плохой скан: pplx почти не замечает, WeMM слабее на дефектах печати (31 страница)
Русские страницы в пяти вариантах качества, в каждом варианте свой пул из 31 страницы: 10 целевых и 21 страница-сосед. В таблице базовый вариант и худший для каждой модели, hit@1 по набору «с опознающими словами»:
|
Модель |
оригинал |
худший вариант качества |
|
EmbeddingGemma-2 |
0.775 |
0.642 |
|
WeMM-2B |
0.958 |
0.917 (дефекты печати) |
|
pplx-embed-late |
0.983 |
0.975 |
pplx почти не боится плохого скана. WeMM слабее на дефектах печати:
на 282 страницах 0.950 → 0.833.
Искусственное «ухудшение под скан» (поворот, размытие, шум) на внутреннем корпусе различий не дало, но это 46 вопросов и не настоящий скан.
Размытый вопрос без названия документа находят хуже точного
Вот два вопроса к одной странице. Нужная страница: стр. 4, договор оказания услуг № 318.
Размытый. «Каким способом перечисляются деньги исполнителю?» WeMM и pplx поставили на первые пять мест пять вариантов качества стр. 3, нужная страница пришла шестой. EmbeddingGemma-2 не нашла её в первой двадцатке.
Точный. «Каким способом производится оплата исполнителю Ковалёвой по договору возмездного оказания услуг № 318 и в какой срок?» Нужная страница первая у всех трёх моделей.
Нужная страница (стр. 4)

Что поставили первой на размытый вопрос (стр. 3)

Обе страницы похожи: это договоры об оказании услуг. На стр. 3 есть п. 5.3: «Оплата производится посредством перечисления денежных средств Исполнителю на счёт карты, расчётный счёт». На размытый вопрос стр. 3 тоже отвечает.
Вопросов только про деталь 108 из 228. Среди них минимум 10 неоднозначных: на другой странице набора есть ответ того же типа (номер страницы стоит на 11 страницах, электронная почта на 8, раздел с номером 4 на 16). Решение по смыслу принимал я один, это нижняя граница.
hit@1 по вопросам «только деталь», набор из 282 страниц:
|
Модель |
все 108 вопросов |
без 10 неоднозначных |
|
EmbeddingGemma-2 |
0.148 |
0.153 |
|
WeMM-2B |
0.731 |
0.786 [0.691, 0.876] |
|
pplx-embed-late |
0.806 |
0.878 |
На десяти парах «размытый вопрос → тот же вопрос с названием документа» hit@1 вырос: EmbeddingGemma-2 с 2 до 8 из 10, WeMM с 1 до 8, pplx с 0 до 10. Это иллюстрация направления: вопросы я выбирал из промахов и переписывал, зная текст страницы.
Практический вывод: добавляйте к запросу признаки документа (номер, стороны, город) или фильтруйте по метаданным рядом с вектором.
Один набор вопросов на 10, 31, 115 и 282 страницах, hit@1 и интервал 95%. Вопросы с опознающими словами (120):
|
Модель |
10 |
31 |
115 |
282 |
|
EmbeddingGemma-2 |
0.850 [0.758, 0.933] |
0.775 [0.633, 0.908] |
0.658 [0.508, 0.825] |
0.592 [0.417, 0.792] |
|
WeMM-2B |
0.975 [0.950, 1.000] |
0.958 [0.908, 1.000] |
0.950 [0.883, 1.000] |
0.950 [0.883, 1.000] |
|
pplx-embed-late |
1.000 [1.000, 1.000] |
0.983 [0.958, 1.000] |
0.975 [0.933, 1.000] |
0.967 [0.925, 1.000] |
Вопросы только про деталь (108):
|
Модель |
10 |
31 |
115 |
282 |
|
EmbeddingGemma-2 |
0.565 [0.410, 0.724] |
0.389 [0.196, 0.568] |
0.259 [0.119, 0.400] |
0.148 [0.040, 0.265] |
|
WeMM-2B |
0.880 [0.825, 0.933] |
0.796 [0.716, 0.882] |
0.750 [0.652, 0.846] |
0.731 [0.637, 0.827] |
|
pplx-embed-late |
0.926 [0.875, 0.972] |
0.833 [0.718, 0.928] |
0.815 [0.710, 0.905] |
0.806 [0.701, 0.898] |
У WeMM и pplx кривая выходит на плато: на вопросах «только деталь» от 115 до 282 страниц результат почти не меняется, интервалы почти совпадают.
У EmbeddingGemma-2 падение не останавливается: на тех же вопросах результат продолжает снижаться.
Для двух сильных моделей пул больше 282 страниц на русском наборе не проверен.
Вывод по главе «Сканы и текст». На реальных сканах pplx впереди, на русском наборе тоже (хотя там всего 10 независимых страниц), EmbeddingGemma-2 далеко позади. На сканах страницу можно ограничить 1 Мп без потерь для WeMM, у pplx потеря небольшая. На DocVQA WeMM держится до самого сильного шага лестницы (÷5, остаётся 0.43 Мп). Сравнивать допустимое сжатие между наборами нельзя: у графиков стартовая страница около 0.12 Мп против примерно 2 Мп на сканах, и «÷1.5» там означает 0.08 Мп, ниже любой проверенной на сканах точки. Ниже 1 Мп на русском наборе WeMM и pplx теряют качество, у EmbeddingGemma-2 зависимость немонотонная, её аномальный рост при 0.25 Мп разобран выше. Плохой скан pplx почти не замечает, WeMM слабее на дефектах печати. С ростом пула WeMM и pplx выходят на плато, EmbeddingGemma-2 продолжает падать.
Страницы, где ответ лежит в ячейке. Текст таблицы у сотни похожих страниц почти одинаков, поэтому такой поиск проверяет, различает ли модель страницы, которые отличаются несколькими ячейками.
Финансовые отчёты TAT-DQA (реальные страницы) и мои синтетические таблицы продаж.
Таблицы TAT-DQA: pplx 0.650, WeMM 0.578, EmbeddingGemma-2 0.306
hit@1 и интервал 95%, условия те же, что в главе про сканы.
|
Набор |
Что в нём |
Пул |
Вопросов |
EG-2 |
WeMM-2B |
pplx |
|
TAT-DQA |
финансовые отчёты с таблицами |
274 |
1 000 |
0.306 [0.261, 0.352] |
0.578 [0.529, 0.624] |
0.650 [0.603, 0.697] |
|
Таблицы, 25 штук |
синтетика, однотипные, отличаются ячейками |
25 |
75 |
0.413 [0.347, 0.480] |
0.373 [0.333, 0.413] |
0.947 [0.893, 0.987] |
|
Таблицы, 100 штук |
синтетика, то же, страниц больше |
100 |
300 |
0.327 [0.307, 0.347] |
0.337 [0.333, 0.343] |
0.900 [0.870, 0.930] |
|
Таблицы, 60 строк |
синтетика, длинные |
25 |
75 |
0.333 [0.293, 0.373] |
0.347 [0.333, 0.373] |
0.693 [0.640, 0.747] |
У TAT-DQA текст вопроса совпадает у малой доли вопросов (около 1%); без них порядок моделей тот же.
Узкие интервалы на синтетике (у WeMM на 100 таблицах он почти нулевой ширины) не значат высокой точности: интервал считается по страницам, а у EmbeddingGemma-2 и WeMM результат на этих таблицах около одной трети. Примеры вопросов к синтетическим таблицам называют филиал и год; разбивки результата по типам вопросов (ячейка, итог) у меня нет.
Пример 1. Таблица в финансовом отчёте. Вопрос: «What is the remaining estimated life of plan participants?» EmbeddingGemma-2 и pplx поставили нужную страницу первой, WeMM на третье место.
нужная страница

Первая у WeMM

Пример 2. Вопрос по цифре. Вопрос: «What is the amount of net deferred tax assets in 2019?» Ни одна модель не поставила нужную страницу первой: EmbeddingGemma-2 и pplx на втором месте, WeMM на пятом.
Нужная страница

Первая у EmbeddingGemma-2

Первая у WeMM

Первая у pplx

Сжатие картинки на TAT-DQA
TAT-DQA, hit@1 и интервал 95%:
|
Лимит |
EmbeddingGemma-2 |
WeMM-2B |
pplx-embed-late |
|
база |
0.309 [0.262, 0.355] |
0.582 [0.534, 0.628] |
0.650 [0.603, 0.697] |
|
1.0 Мп |
0.300 [0.254, 0.345] |
0.575 [0.525, 0.620] |
0.636 [0.589, 0.683] |
|
0.5 Мп |
0.297 [0.251, 0.345] |
0.523 [0.469, 0.572] |
0.581 [0.532, 0.629] |
|
0.25 Мп |
0.254 [0.209, 0.300] |
0.452 [0.400, 0.507] |
0.452 [0.402, 0.500] |
Интервалы английских наборов (DocVQA в главе про сканы, TAT-DQA здесь) считались по верной странице, на 272–300 страницах они уже, чем на русском. База TAT-DQA здесь из повторного прогона, в сводной таблице из первого: разница в третьем знаке.
Модели можно дать текст рядом с картинкой, и я проверил три способа индексации: только картинка, картинка и описание в одном входе, только описание. Описание содержит точные значения, это верхняя граница подхода.
На таблицах (25 страниц, отдельный набор из 154 вопросов) и схемах (25 страниц, отдельный набор из 59 вопросов) описание рядом работает иначе, чем на графиках. hit@1 и интервал 95%, описание с точными значениями:
|
Набор |
Модель |
Только картинка |
Картинка + описание |
Только описание |
|
Таблицы |
EmbeddingGemma-2 |
0.468 [0.408, 0.526] |
0.519 [0.491, 0.550] |
0.545 [0.513, 0.579] |
|
|
WeMM-2B |
0.513 [0.477, 0.556] |
0.545 [0.513, 0.584] |
0.552 [0.516, 0.594] |
|
|
pplx-embed-late |
0.929 [0.876, 0.974] |
не поддерживается |
0.747 [0.701, 0.797] |
|
Схемы |
EmbeddingGemma-2 |
0.644 [0.528, 0.754] |
0.729 [0.639, 0.825] |
0.746 [0.651, 0.840] |
|
|
WeMM-2B |
0.746 [0.661, 0.825] |
0.763 [0.661, 0.852] |
0.814 [0.732, 0.897] |
|
|
pplx-embed-late |
0.763 [0.673, 0.848] |
не поддерживается |
0.763 [0.684, 0.845] |
У pplx на таблицах описание хуже картинки, на схемах такое же.
У EmbeddingGemma-2 описание на таблицах и схемах немного помогает, но на графиках вредит.
Вывод по главе «Таблицы». На реальных отчётах TAT-DQA pplx впереди, WeMM следом, EmbeddingGemma-2 далеко позади. На синтетике с сотней похожих таблиц разрыв ещё больше: pplx находит страницу в большинстве случаев, две другие модели примерно в трети, там страницы отличаются несколькими ячейками. Лимит 0.25 Мп снижает результат у всех. Описание рядом с таблицей у pplx хуже картинки: только картинка 0.929 против 0.747 у точного описания, а это потолок текстового пути. У EmbeddingGemma-2 и WeMM описание помогает немного (0.545 против 0.468 и 0.552 против 0.513).
Страницы, где ответ виден по форме и по значению на картинке.
Научные графики PlotQA (синтетика) и мои графики ВВП пяти стран.
Примеры выше в шаблоне «год». В других шаблонах вопрос называет страну: «На каком графике ВВП Германии равен 4.84 трлн долларов?» (значение) или «Найди график, где ВВП Германии самый большой, а второе место у Франции» (порядок); правильная страница у всех шаблонов известна по построению.
hit@1 и интервал 95%.
|
Набор |
Что в нём |
Пул |
Вопросов |
EmbeddingGemma-2 |
WeMM-2B |
pplx-embed-late |
|
ChartQA |
графики разных видов |
300 |
486 |
0.514 [0.466, 0.569] |
0.691 [0.647, 0.737] |
0.611 [0.565, 0.660] |
|
PlotQA |
научные графики, синтетика |
1 000 |
500 |
0.672 [0.631, 0.715] |
0.840 [0.808, 0.873] |
0.754 [0.717, 0.793] |
|
Графики ВВП, 100 штук |
синтетика, пять стран по годам |
100 |
609 |
0.455 [0.408, 0.504] |
0.397 [0.362, 0.433] |
0.824 [0.772, 0.877] |
Модели можно дать текст рядом с картинкой. Я проверил три способа индексации одних и тех же страниц:
только картинка;
картинка и описание страницы в одном входе, один вектор (WeMM-2B и EmbeddingGemma-2);
только описание как обычный текст, без картинки (так работает текстовый RAG).
Описание я сгенерировал вместе с набором: в нём точные значения графика, поэтому это верхняя граница подхода, а настоящая подпись была бы хуже. Данные: 100 графиков ВВП по пяти странам, 609 вопросов. Графики я построил сам, чтобы знать нужную страницу.
hit@1 и интервал 95%:
|
Модель |
Только картинка |
Картинка + описание |
Только описание |
|
EmbeddingGemma-2 |
0.455 [0.408, 0.504] |
0.348 [0.326, 0.371] |
0.361 [0.332, 0.393] |
|
WeMM-2B |
0.397 [0.362, 0.433] |
0.392 [0.358, 0.428] |
0.389 [0.354, 0.427] |
|
pplx-embed-late |
0.824 [0.772, 0.877] |
смешанный вход не поддерживается |
0.775 [0.723, 0.830] |
Общего прироста от описания нет: у EmbeddingGemma-2 оно ухудшает результат, у WeMM остаётся в пределах шума, pplx лучше работает по картинке.
Контроль: если подложить описание чужой страницы, hit@1 падает до 0.03 у EmbeddingGemma-2 и WeMM. Модель идёт за текстом, а не за картинкой. Неверная подпись ломает поиск, верная ничего не добавляет.
На 20 графиках у WeMM на вопросах про значения был прирост (0.15 → 0.30). На 100 графиках он не подтвердился: по картинке 0.01, с описанием 0.05.
Формулировку вопроса (короткая, длинная, разговорная, с опечатками, английская, голый запрос) я проверил на значениях графика, по 20 вопросов на форму. hit@1 по шести формам: pplx 0.95–1.00, EmbeddingGemma-2 0.45–0.60, WeMM 0.05–0.15. Внутри каждой модели разброс между формами небольшой, интервалов по формам у меня нет.
Вывод по главе «Графики». По общему виду графика лидирует WeMM (ChartQA и PlotQA), pplx вторая, EmbeddingGemma-2 позади. Вопрос про график ВВП нужной страны и года на синтетике лучше находит pplx, у WeMM там результат более чем вдвое ниже. Сжатие здесь мерилось при стартовой странице 0.12 Мп: уже на ÷1.5 остаётся 0.08 Мп, ниже любой точки скановой лестницы (там минимум 0.43 Мп). Поэтому «графики чувствительнее сканов к сжатию» из этих данных не следует: WeMM валится на первом шаге, pplx теряет к ÷5 почти вдвое, но отделить абсолютный размер картинки от типа содержимого нечем. Внутри среза сравнение законно: WeMM падает сразу, pplx плавно, EmbeddingGemma-2 не меняется. Описание рядом с графиком общего прироста не даёт.
Страницы, где смысл лежит в вёрстке и подписях. Настройки здесь не менялись, только базовый замер.
Инфографика InfoVQA и слайды SlideVQA.
hit@1 и интервал 95%.
|
Набор |
Что в нём |
Пул |
Вопросов |
EG-2 |
WeMM-2B |
pplx |
|
InfoVQA |
инфографика |
500 |
500 |
0.668 [0.626, 0.710] |
0.852 [0.820, 0.882] |
0.846 [0.814, 0.874] |
|
SlideVQA |
слайды презентаций |
1 284 |
410 |
0.763 [0.717, 0.807] |
0.946 [0.922, 0.967] |
0.937 [0.911, 0.960] |
У InfoVQA текст вопроса совпадает у малой доли вопросов (меньше 2%); без них порядок моделей тот же. У SlideVQA таких вопросов нет.
Пример. Инфографика. Вопрос: «What percent of recruiters make most of their hires through LinkedIn?» pplx поставил нужную страницу первой, EmbeddingGemma-2 и WeMM на второе место.
Вывод по главе «Инфографика и слайды». Здесь WeMM и pplx почти вровень, интервалы пересекаются, EmbeddingGemma-2 позади. Это самые высокие значения на реальных данных в статье.
Только синтетика: реальных схем и скриншотов у меня нет, поэтому это проверка механизма.
Схемы с блоками и скриншоты со стрелкой.
hit@1 и интервал 95%.
|
Набор |
Что в нём |
Пул |
Вопросов |
EmbeddingGemma-2 |
WeMM-2B |
pplx-embed-late |
|
Схемы разреженные |
синтетика, блоки с подписями |
25 |
48 |
0.896 [0.812, 0.977] |
0.875 [0.755, 0.976] |
0.958 [0.896, 1.000] |
|
Схемы плотные |
синтетика, много блоков |
25 |
50 |
0.400 [0.280, 0.520] |
0.420 [0.300, 0.540] |
0.700 [0.600, 0.800] |
|
Схемы без подписей |
синтетика, блоки без текста |
20 |
20 |
0.300 [0.100, 0.500] |
0.300 [0.100, 0.500] |
0.200 [0.050, 0.400] |
|
Интерфейс с подписью шага |
синтетика, скриншот со стрелкой |
25 |
25 |
0.520 [0.320, 0.720] |
1.000 [1.000, 1.000] |
1.000 [1.000, 1.000] |
|
Интерфейс без подписи |
синтетика, скриншот со стрелкой |
25 |
25 |
0.600 [0.400, 0.800] |
0.960 [0.880, 1.000] |
1.000 [1.000, 1.000] |
Вывод по главе «Схемы и интерфейсы». Это только синтетика, поэтому она показывает механизм. Схемы с подписями на блоках находят все три модели, на плотных схемах pplx впереди, без подписей результат низкий у всех. Скриншоты WeMM и pplx находят безошибочно на 25 страницах, EmbeddingGemma-2 заметно хуже.
Оценка по одной странице скрывает, что вопросу нужно несколько. Чтобы это измерить, я взял ViDoRe V3, где размечены все нужные страницы, и оставил 203 вопроса с двумя и больше нужными страницами (оценка 1 или 2). Вопросы разбиты по числу нужных страниц. Для каждого считаем, сколько нужных страниц попало в первые 5, 10 и 20 результатов: «топ-10: 1 из 2» значит, что среди первых десяти результатов одна из двух нужных.
Нужно 2 страницы (вопросов: 46). В ячейке доля вопросов, у которых в окне нашлось столько нужных страниц.
|
Модель, вход |
топ-5 |
топ-10 |
топ-20 |
||||||
|
0 из 2 |
1 из 2 |
2 из 2 |
0 из 2 |
1 из 2 |
2 из 2 |
0 из 2 |
1 из 2 |
2 из 2 |
|
|
WeMM, картинки |
0.39 |
0.26 |
0.35 |
0.26 |
0.33 |
0.41 |
0.17 |
0.30 |
0.52 |
|
WeMM, текст |
0.30 |
0.39 |
0.30 |
0.17 |
0.41 |
0.41 |
0.11 |
0.33 |
0.57 |
|
WeMM, RRF |
0.33 |
0.35 |
0.33 |
0.22 |
0.41 |
0.37 |
0.15 |
0.28 |
0.57 |
|
pplx, картинки |
0.30 |
0.26 |
0.43 |
0.20 |
0.24 |
0.57 |
0.15 |
0.17 |
0.67 |
|
pplx, текст |
0.30 |
0.28 |
0.41 |
0.22 |
0.26 |
0.52 |
0.13 |
0.13 |
0.74 |
|
pplx, RRF |
0.30 |
0.26 |
0.43 |
0.20 |
0.26 |
0.54 |
0.13 |
0.15 |
0.72 |
|
EmbeddingGemma-2, картинки |
0.46 |
0.26 |
0.28 |
0.35 |
0.35 |
0.30 |
0.24 |
0.33 |
0.43 |
|
EmbeddingGemma-2, текст |
0.39 |
0.39 |
0.22 |
0.24 |
0.37 |
0.39 |
0.15 |
0.28 |
0.57 |
|
EmbeddingGemma-2, RRF |
0.41 |
0.33 |
0.26 |
0.26 |
0.35 |
0.39 |
0.22 |
0.28 |
0.50 |
Нужно 3 страницы (вопросов: 26). В ячейке доля вопросов, у которых в окне нашлось столько нужных страниц.
|
Модель, вход |
топ-5 |
топ-10 |
топ-20 |
|||||||||
|
0 из 3 |
1 из 3 |
2 из 3 |
3 из 3 |
0 из 3 |
1 из 3 |
2 из 3 |
3 из 3 |
0 из 3 |
1 из 3 |
2 из 3 |
3 из 3 |
|
|
WeMM, картинки |
0.31 |
0.35 |
0.19 |
0.15 |
0.12 |
0.38 |
0.31 |
0.19 |
0.08 |
0.15 |
0.50 |
0.27 |
|
WeMM, текст |
0.31 |
0.38 |
0.23 |
0.08 |
0.15 |
0.42 |
0.23 |
0.19 |
0.08 |
0.35 |
0.35 |
0.23 |
|
WeMM, RRF |
0.19 |
0.42 |
0.27 |
0.12 |
0.12 |
0.42 |
0.27 |
0.19 |
0.08 |
0.12 |
0.54 |
0.27 |
|
pplx, картинки |
0.12 |
0.27 |
0.27 |
0.35 |
0.08 |
0.15 |
0.38 |
0.38 |
0.04 |
0.12 |
0.42 |
0.42 |
|
pplx, текст |
0.08 |
0.31 |
0.23 |
0.38 |
0.08 |
0.19 |
0.31 |
0.42 |
0.04 |
0.12 |
0.38 |
0.46 |
|
pplx, RRF |
0.08 |
0.27 |
0.27 |
0.38 |
0.08 |
0.15 |
0.35 |
0.42 |
0.04 |
0.15 |
0.38 |
0.42 |
|
EmbeddingGemma-2, картинки |
0.31 |
0.38 |
0.23 |
0.08 |
0.19 |
0.42 |
0.27 |
0.12 |
0.15 |
0.31 |
0.31 |
0.23 |
|
EmbeddingGemma-2, текст |
0.23 |
0.42 |
0.27 |
0.08 |
0.23 |
0.31 |
0.35 |
0.12 |
0.12 |
0.35 |
0.23 |
0.31 |
|
EmbeddingGemma-2, RRF |
0.31 |
0.42 |
0.19 |
0.08 |
0.15 |
0.38 |
0.31 |
0.15 |
0.08 |
0.31 |
0.27 |
0.35 |
Нужно 4 страницы (вопросов: 18). В ячейке доля вопросов, у которых в окне нашлось указанное число нужных страниц.
|
Модель, вход |
топ-5 |
топ-10 |
топ-20 |
||||||
|
0 из 4 |
1–2 из 4 |
3–4 из 4 |
0 из 4 |
1–2 из 4 |
3–4 из 4 |
0 из 4 |
1–2 из 4 |
3–4 из 4 |
|
|
WeMM, картинки |
0.44 |
0.28 |
0.28 |
0.28 |
0.39 |
0.33 |
0.28 |
0.39 |
0.33 |
|
WeMM, текст |
0.44 |
0.39 |
0.17 |
0.34 |
0.33 |
0.33 |
0.22 |
0.39 |
0.39 |
|
WeMM, RRF |
0.33 |
0.50 |
0.17 |
0.28 |
0.39 |
0.33 |
0.28 |
0.28 |
0.44 |
|
pplx, картинки |
0.22 |
0.39 |
0.39 |
0.22 |
0.33 |
0.45 |
0.22 |
0.28 |
0.50 |
|
pplx, текст |
0.22 |
0.45 |
0.33 |
0.22 |
0.28 |
0.50 |
0.17 |
0.33 |
0.50 |
|
pplx, RRF |
0.22 |
0.39 |
0.39 |
0.22 |
0.28 |
0.50 |
0.17 |
0.33 |
0.50 |
|
EmbeddingGemma-2, картинки |
0.39 |
0.50 |
0.11 |
0.33 |
0.50 |
0.17 |
0.33 |
0.39 |
0.28 |
|
EmbeddingGemma-2, текст |
0.44 |
0.50 |
0.06 |
0.28 |
0.55 |
0.17 |
0.22 |
0.39 |
0.39 |
|
EmbeddingGemma-2, RRF |
0.39 |
0.56 |
0.05 |
0.33 |
0.39 |
0.28 |
0.22 |
0.45 |
0.33 |
Нужно 5 страницы (вопросов: 16). В ячейке доля вопросов, у которых в окне нашлось указанное число нужных страниц.
|
Модель, вход |
топ-5 |
топ-10 |
топ-20 |
||||||
|
0 из 5 |
1–2 из 5 |
3–5 из 5 |
0 из 5 |
1–2 из 5 |
3–5 из 5 |
0 из 5 |
1–2 из 5 |
3–5 из 5 |
|
|
WeMM, картинки |
0.38 |
0.56 |
0.06 |
0.31 |
0.44 |
0.25 |
0.19 |
0.44 |
0.37 |
|
WeMM, текст |
0.37 |
0.44 |
0.19 |
0.31 |
0.44 |
0.25 |
0.25 |
0.31 |
0.44 |
|
WeMM, RRF |
0.38 |
0.50 |
0.12 |
0.37 |
0.44 |
0.19 |
0.19 |
0.25 |
0.56 |
|
pplx, картинки |
0.25 |
0.56 |
0.19 |
0.13 |
0.50 |
0.37 |
0.12 |
0.19 |
0.69 |
|
pplx, текст |
0.25 |
0.56 |
0.19 |
0.19 |
0.44 |
0.37 |
0.13 |
0.25 |
0.62 |
|
pplx, RRF |
0.19 |
0.62 |
0.19 |
0.13 |
0.50 |
0.37 |
0.13 |
0.25 |
0.62 |
|
EmbeddingGemma-2, картинки |
0.38 |
0.56 |
0.06 |
0.25 |
0.50 |
0.25 |
0.13 |
0.37 |
0.50 |
|
EmbeddingGemma-2, текст |
0.38 |
0.50 |
0.12 |
0.31 |
0.44 |
0.25 |
0.25 |
0.38 |
0.37 |
|
EmbeddingGemma-2, RRF |
0.31 |
0.50 |
0.19 |
0.25 |
0.44 |
0.31 |
0.19 |
0.31 |
0.50 |
Нужно 6 и больше страниц (вопросов: 97). В ячейке доля вопросов, у которых в окне нашлось указанное число нужных страниц.
|
Модель, вход |
топ-5 |
топ-10 |
топ-20 |
|||||||||
|
0 |
1–2 |
3–5 |
6 >= |
0 |
1–2 |
3–5 |
6 >= |
0 |
1–2 |
3–5 |
6 >= |
|
|
WeMM, картинки |
0.30 |
0.46 |
0.24 |
0.00 |
0.17 |
0.43 |
0.30 |
0.10 |
0.07 |
0.34 |
0.33 |
0.26 |
|
WeMM, текст |
0.33 |
0.51 |
0.16 |
0.00 |
0.23 |
0.40 |
0.27 |
0.10 |
0.10 |
0.31 |
0.34 |
0.25 |
|
WeMM, RRF |
0.31 |
0.48 |
0.21 |
0.00 |
0.19 |
0.38 |
0.33 |
0.10 |
0.07 |
0.29 |
0.36 |
0.28 |
|
pplx, картинки |
0.29 |
0.44 |
0.27 |
0.00 |
0.21 |
0.33 |
0.36 |
0.10 |
0.12 |
0.28 |
0.34 |
0.26 |
|
pplx, текст |
0.28 |
0.47 |
0.25 |
0.00 |
0.21 |
0.33 |
0.34 |
0.12 |
0.07 |
0.30 |
0.37 |
0.26 |
|
pplx, RRF |
0.28 |
0.43 |
0.29 |
0.00 |
0.21 |
0.33 |
0.35 |
0.11 |
0.13 |
0.23 |
0.39 |
0.25 |
|
EmbeddingGemma-2, картинки |
0.35 |
0.50 |
0.15 |
0.00 |
0.23 |
0.45 |
0.25 |
0.07 |
0.13 |
0.37 |
0.35 |
0.15 |
|
EmbeddingGemma-2, текст |
0.31 |
0.49 |
0.20 |
0.00 |
0.19 |
0.49 |
0.23 |
0.09 |
0.05 |
0.39 |
0.36 |
0.20 |
|
EmbeddingGemma-2, RRF |
0.29 |
0.53 |
0.18 |
0.00 |
0.20 |
0.41 |
0.32 |
0.07 |
0.08 |
0.35 |
0.39 |
0.18 |
Ошибки [19] по типам запросов
Разбор на всех 283 вопросах набора. В ячейке доля вопросов, у которых верная страница стоит на первом месте (EG2 это EmbeddingGemma-2). У вопроса может быть несколько типов, поэтому строки внутри разреза не складываются в 283.
|
Разрез (вопросов) |
WeMM карт. |
WeMM текст |
WeMM RRF |
pplx карт. |
pplx текст |
pplx RRF |
EG2 карт. |
EG2 текст |
EG2 RRF |
|
тип: извлечение факта (125) |
0.58 |
0.49 |
0.51 |
0.72 |
0.73 |
0.74 |
0.37 |
0.45 |
0.45 |
|
тип: число (29) |
0.72 |
0.62 |
0.66 |
0.83 |
0.79 |
0.83 |
0.48 |
0.59 |
0.55 |
|
тип: да/нет (44) |
0.57 |
0.57 |
0.57 |
0.70 |
0.73 |
0.75 |
0.39 |
0.52 |
0.48 |
|
тип: открытый вопрос (67) |
0.30 |
0.30 |
0.25 |
0.27 |
0.25 |
0.24 |
0.22 |
0.24 |
0.21 |
|
тип: перечисление (55) |
0.44 |
0.38 |
0.38 |
0.60 |
0.56 |
0.60 |
0.38 |
0.40 |
0.35 |
|
тип: сравнение (29) |
0.52 |
0.48 |
0.45 |
0.59 |
0.59 |
0.59 |
0.31 |
0.38 |
0.34 |
|
тип: несколько шагов (28) |
0.50 |
0.39 |
0.43 |
0.68 |
0.57 |
0.64 |
0.50 |
0.50 |
0.57 |
|
формат: вопрос (161) |
0.50 |
0.46 |
0.47 |
0.65 |
0.65 |
0.66 |
0.34 |
0.42 |
0.42 |
|
формат: инструкция (84) |
0.45 |
0.36 |
0.35 |
0.48 |
0.46 |
0.49 |
0.32 |
0.35 |
0.33 |
|
формат: ключевые слова (38) |
0.55 |
0.50 |
0.53 |
0.58 |
0.53 |
0.53 |
0.39 |
0.45 |
0.42 |
|
автор: человек (177) |
0.61 |
0.53 |
0.56 |
0.72 |
0.71 |
0.73 |
0.41 |
0.48 |
0.47 |
|
автор: синтетика (106) |
0.29 |
0.28 |
0.25 |
0.38 |
0.37 |
0.37 |
0.23 |
0.27 |
0.27 |
|
страница: текст (273) |
0.49 |
0.43 |
0.44 |
0.58 |
0.57 |
0.59 |
0.33 |
0.40 |
0.39 |
|
страница: таблица (88) |
0.44 |
0.39 |
0.42 |
0.56 |
0.52 |
0.55 |
0.31 |
0.40 |
0.39 |
|
страница: инфографика (54) |
0.50 |
0.50 |
0.46 |
0.50 |
0.56 |
0.50 |
0.30 |
0.37 |
0.33 |
|
страница: картинка (21) |
0.38 |
0.24 |
0.29 |
0.33 |
0.38 |
0.33 |
0.19 |
0.33 |
0.24 |
Примеры вопросов по разрезам
Для каждой строки таблицы выше один типичный вопрос из набора. Вопросы английские, как в наборе, перевод мой. Один вопрос попадает сразу в несколько разрезов (например, он может быть и «извлечением факта», и «вопросом», и написанным человеком), поэтому примеры не исключают друг друга.
|
Разрез |
Пример вопроса (как в наборе) |
Перевод |
|
тип: извлечение факта |
What is the maximum refueling pressure allowed for the AV-8 aircraft during hot refueling operations? |
Какое максимальное давление заправки допускается для самолёта AV-8 при горячей заправке? |
|
тип: число |
How many internal fuel tanks are located in the center wing of the S-3 aircraft? |
Сколько внутренних топливных баков в центральной части крыла самолёта S-3? |
|
тип: да/нет |
Are points of awls required to be kept covered when not in use, according to the USAF technical manuals and orders? |
Нужно ли держать острия шил закрытыми, когда ими не пользуются, согласно техническим руководствам и приказам ВВС США? |
|
тип: открытый вопрос |
Explain how the manual addresses safety risks associated with refueling military aircraft while their engines remain operational. |
Объясните, как руководство описывает риски безопасности при заправке военных самолётов с работающими двигателями. |
|
тип: перечисление |
What two standards regulate insulating matting requirements for high-voltage zones in military aviation contexts? |
Какие два стандарта регулируют требования к изолирующим коврикам в зонах высокого напряжения в военной авиации? |
|
тип: сравнение |
What is the difference between emergency shutdown and post-shutdown procedures as per the AFTF technical manual? |
В чём разница между аварийной остановкой и процедурами после остановки по техническому руководству AFTF? |
|
тип: несколько шагов |
Explain the functions of Corrosion Prevention Compounds and identify the five types of authorized cleaning compounds of MIL-PRF-85570. |
Объясните функции противокоррозионных составов и назовите пять типов разрешённых чистящих составов по MIL-PRF-85570. |
|
формат: вопрос |
How far away should the dry heat source be from the wire or wire group for the shrinking of polyethylene tubing? |
На каком расстоянии от провода или жгута должен находиться источник сухого тепла при усадке полиэтиленовой трубки? |
|
формат: инструкция |
State the maximum water pressure (PSI) allowed for manual rinsing in Clear Water Rinsing of Aircraft per the TO 1-1-691 Manual. |
Укажите максимальное давление воды (PSI) при ручном ополаскивании самолёта чистой водой по руководству TO 1-1-691. |
|
формат: ключевые слова |
exact voltage rating insulating mats aircraft maintenance manual |
точное напряжение изолирующие коврики руководство по обслуживанию самолёта |
|
автор: человек |
What height, in inches, do the letters and numbers used for vehicle components & warnings range from? |
В каких пределах (в дюймах) находится высота букв и цифр для обозначения компонентов и предупреждений на транспорте? |
|
автор: синтетика |
How do maintenance documentation requirements support both safety compliance and operational efficiency in technical operations? |
Как требования к документации по обслуживанию поддерживают и соблюдение безопасности, и эффективность технических операций? |
|
страница: текст |
Does the EF/F-18 operate with both engines running during hot refueling, as specified in USAF technical manuals? |
Работает ли EF/F-18 с обоими двигателями при горячей заправке, как указано в технических руководствах ВВС США? |
|
страница: таблица |
What type of corrosion remover is not suitable for aluminum or magnesium, according to USAF technical manuals? |
Какой тип средства для удаления коррозии нельзя использовать на алюминии и магнии согласно руководствам ВВС США? |
|
страница: инфографика |
Where is the 25mm gun safety pin stored when not in use per the Summary of USAF Technical Manual Sections? |
Где хранится предохранительная чека 25-мм пушки, когда ею не пользуются, согласно сводке разделов технических руководств ВВС США? |
|
страница: картинка |
Do USAF’s airfield vehicles require silver or black reflective tape outlining their dimensions? |
Нужна ли на аэродромных машинах ВВС США серебристая или чёрная светоотражающая лента по контуру габаритов? |
Результат сильнее всего зависит от происхождения вопроса: на вопросах людей точность составляет 41–73%, на синтетических 23–38%. pplx лучше справляется с числовыми вопросами (0.79–0.83 против 0.62–0.72 у WeMM), но на открытых вопросах преимущество исчезает. Картинки также остаются сложным типом страниц, хотя выборка мала (21 вопрос).
Размер отдельных групп не позволяет уверенно судить о небольших различиях между моделями: доверительные интервалы для этого среза не рассчитывались.
Вывод по главе «Несколько верных страниц». Оценка по одной странице переоценивает качество поиска: если вопрос требует нескольких страниц, найти их все значительно сложнее.
pplx показывает лучшие результаты. Когда нужны две страницы, обе попадают в топ-20 в 67–74% случаев против 52–57% у WeMM и 43–57% у EmbeddingGemma-2. Для трёх страниц pplx находит все нужные в топ-20 в 42–46% случаев.
Объединение текстового и визуального поиска не даёт стабильного выигрыша. RRF не улучшает результаты pplx и WeMM относительно поиска по картинкам. У EmbeddingGemma-2 объединение полезнее, поскольку текстовый поиск у неё сильнее визуального.
Результаты требуют осторожной интерпретации. В группах с двумя-пятью нужными страницами всего 16–46 вопросов. Доверительные интервалы для этих сравнений не рассчитаны, поэтому небольшие различия нельзя считать подтверждёнными.
Число токенов страницы зависит от размера картинки, а от токенов зависят время и размер индекса. WeMM тратит один токен на 1 037 пикселей, pplx то же до 1.8 Мп и дальше сам сжимает до 1 715 токенов. У EmbeddingGemma-2 число токенов задаёт бюджет (70–1120, по умолчанию 280, фактически около 266), а размер картинки на него не влияет.
|
Страница A4 |
WeMM-2B |
pplx-embed-late |
EmbeddingGemma-2 (бюджет 280) |
|
150 dpi (2.2 Мп) |
2 145 токенов |
1 715 |
266 |
|
300 dpi (8.7 Мп) |
8 580 |
1 715 |
266 |
|
600 dpi (34.8 Мп) |
16 264 |
1 715 |
266 |
На 600 dpi у WeMM срабатывает потолок её процессора, 16.7 Мп: выше этого страница сжимается, и токенов становится меньше, чем по правилу 1 037 пикселей.
Замер на RTX 3060 Ti (8 ГБ), DocVQA, одиночные вызовы:
|
|
EmbeddingGemma-2 |
WeMM-2B |
pplx-embed-late |
|
Страница, мс (медиана) |
203 |
1 133 |
890 |
|
Запрос, мс |
74.7 |
75.6 |
34.2 |
pplx хранит отдельный вектор для каждого токена, поэтому его индекс значительно больше. На 300 страницах поиск в Qdrant занимает 41,8 мс против 10,2 мс у EmbeddingGemma-2 и 11,5 мс у WeMM-2B.
Загрузка индекса pplx также заметно медленнее: 72,9 с против 0,6 с у WeMM-2B.
Стоимость индексации оценил по времени обработки одной страницы на RTX 3060 Ti и цене аренды 37,9 ₽/ч. Расчёт приведён для 100 тысяч и 1 миллиона страниц. Это оценка без батчинга: при пакетной обработке стоимость может быть ниже.

Размер индекса определяет расходы на хранение. Для pplx я оценивал его как число токенов × 128 × 4 байта, без служебных данных Qdrant. Для страницы размером около 2 Мп получается примерно 859 КиБ, а для изображения с 428 токенами, около 214 КиБ. Поэтому оценка для миллиона страниц зависит от разрешения: около 820 ГиБ для крупных страниц и 204 ГиБ для небольших.

Результаты зависят от типа данных, сложности запроса и доступных ресурсов. Ниже я свел результаты экспериментов в практические рекомендации по выбору эмбеддера.
|
Если у вас |
Берите |
Почему |
|
сканы и таблицы, нужна точность на первом месте |
pplx |
DocVQA 0.678 против 0.605 у WeMM, TAT-DQA 0.650 против 0.578; почти не боится плохого скана. Минус: индекс около 859 КиБ на страницу (≈250 МБ250 МиБ на 300 страниц, ≈860 ГБ820 ГиБ на миллион) |
|
графики, найти нужную страницу по общему виду |
WeMM-2B |
ChartQA 0.691 против 0.611 у pplx и 0.514 у EmbeddingGemma-2; PlotQA 0.840 против 0.754 у pplx |
|
графики, вопрос про конкретную страну и год |
pplx |
на моих 100 графиках ВВП pplx 0.824, WeMM 0.397 (глава про графики); набор синтетический, проверьте на своих |
|
мало GPU и важна скорость |
EmbeddingGemma-2 |
1.9 ГБ, 203 мс на страницу, индекс 3 КиБ; в точности уступает на реальных наборах, но проверьте бюджет 560–1120: на некоторых наборах он помогает |
|
ответ на вопрос лежит на нескольких страницах |
pplx |
ViDoRe V3, 203 вопроса с двумя и больше нужными страницами: nDCG@10 на картинках 0.466 у pplx против 0.383 у WeMM и 0.311 у EmbeddingGemma-2, разница подтверждена интервалами. Все нужные страницы вместе находят редко при любом входе, слияние картинок и текста (RRF) не помогает |
Если не знаете, с чего начать, попробуйте pplx: он показывает лучшие результаты на сканах и таблицах, но требует значительно больше места для индекса. Для поиска по общему виду графиков лучше подходит WeMM-2B, а при ограниченных ресурсах стоит рассмотреть EmbeddingGemma-2. Старшие версии WeMM-4B и 9B я не тестировал, на моей RTX 3060 Ti с 8 ГБ они не помещаются.
Универсального победителя нет: результат зависит от задачи, качества исходных страниц и формулировки запроса. Поэтому настройки вроде ограничения изображения до 1 Мп, размера пула и бюджета токенов стоит проверять на собственных данных.
У исследования есть ограничения. Часть данных синтетическая, а публичные наборы могли попасть в обучение [20] моделей. Текстовый путь проверялся по готовым описаниям страниц, без отдельного измерения качества OCR. Скорость замерялась на RTX 3060 Ti при одиночных вызовах, без батчинга. На русском наборе из 10 страниц результаты позволяют судить лишь об общих тенденциях.
Автор: Alt_Tab
Источник [21]
Сайт-источник BrainTools: https://www.braintools.ru
Путь до страницы источника: https://www.braintools.ru/article/38680
URLs in this post:
[1] память: http://www.braintools.ru/article/4140
[2] HunyuanOCR на документах: https://habr.com/ru/companies/raft/articles/1031684/
[3] Что проверяем: #What_we_are_checking
[4] Эмбеддеры для тестирования: #Embedders_for_testing
[5] Все метрики одной таблицей: #All_metrics_in_a_single_table
[6] Наборы данных: #Datasets
[7] Сканы и текст: основной случай для поиска по документам: #Scans_and_text
[8] Сканы: #Scans
[9] Сжатие картинки: #Image_compression
[10] Размытый вопрос без названия документа: #Vague_question
[11] Таблицы: #Tables
[12] Графики: #Charts
[13] Инфографика и слайды: #Infographics_and_slides
[14] Схемы и интерфейсы: #Schemes
[15] Ответ на нескольких страницах: #response_spanning
[16] Железо, индекс и стоимость: #Hardware
[17] Что выбрать: #Choose
[18] Итог: #Conclusion
[19] Ошибки: http://www.braintools.ru/article/4192
[20] обучение: http://www.braintools.ru/article/5125
[21] Источник: https://habr.com/ru/companies/raft/articles/1108640/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1108640
Нажмите здесь для печати.