- BrainTools - https://www.braintools.ru -

От картинки к релевантной странице: исследование мультимодальных эмбеддингов

От картинки к релевантной странице: исследование мультимодальных эмбеддингов - 1

Всем привет! Я Артем, Data Scientist в Raft Digital Solutions. Недавно я гонял три мультимодальных эмбеддера на сканах, таблицах и графиках. Расскажу, что в них можно настроить, что это даёт в качестве поиска и что отнимает: время, память [1] GPU и место в индексе.

Начну с задачи. У вас тысячи сканов: договоры, счета, письма, отчёты. Сотрудник спрашивает: «В каком договоре штраф за просрочку 0,1% в день?» Система должна найти нужную страницу.

Обычно страницы переводят в текст с помощью OCR (про один из таких инструментов я писал отдельно: HunyuanOCR на документах [2]) или мультимодальной языковой модели, которая читает скан. Затем текст разбивается на чанки и отправляется в RAG. Для страниц со сплошным текстом такой подход работает. Но он становится менее надёжным, когда смысл зависит не только от слов, но и от визуального представления данных: например, от расположения значений в таблице, формы графика или связей между элементами схемы.

Содержание статьи:

  1. Что проверяем [3]

  2. Эмбеддеры для тестирования [4]

  3. Все метрики одной таблицей [5]

  4. Наборы данных [6]

  5. Сканы и текст: основной случай для поиска по документам [7]

    1. Сканы [8]

    2. Сжатие картинки [9]

    3. Размытый вопрос без названия документа [10]

  6. Таблицы [11]

  7. Графики [12]

  8. Инфографика и слайды [13]

  9. Схемы и интерфейсы [14]

  10. Ответ на нескольких страницах [15]

  11. Железо, индекс и стоимость [16]

  12. Что выбрать [17]

  13. Итог [18]


Я выделил три типа страниц, на которых текстовый поиск может терять информацию:

Однотипные таблицы. Вёрстка и заголовки одинаковые, различаются лишь несколько ячеек. Чтобы ответить на вопрос «В каком регионе безработица выше 5%?», нужно найти конкретное число в таблице. При этом текстовое содержимое страниц может быть почти идентичным (глава «Таблицы»).

Графики, где важны числовые значения. Вопрос «На каком графике ВВП Германии равен 4,84 трлн долларов?» не содержит признаков, по которым легко отличить одну страницу от другой. Ответ зависит от чисел и визуального представления данных, например высоты столбцов (глава «Графики»).

Схемы и интерфейсы. На схеме важно, как связаны блоки и куда ведут стрелки. В интерфейсе смысл может зависеть от того, какой элемент подсвечен и к чему относится шаг инструкции. OCR способен распознать подписи, но не обязательно сохраняет эти пространственные связи (глава «Схемы и интерфейсы»).

Для таких страниц я проверил мультимодальные эмбеддеры и исследовал, какие параметры влияют на качество поиска.

Мультимодальный эмбеддер строит представление страницы по её изображению, а не только по распознанному тексту. Благодаря этому при поиске можно учитывать не только слова, но и визуальную структуру: расположение данных в таблице, форму графика и связи между блоками схемы.

Для таблиц и графиков я сравнивал модели с текстовым поиском по точным описаниям страниц, а не по результатам реального OCR. Это скорее верхняя граница возможностей текстового подхода: описания содержат точные данные и не страдают от ошибок распознавания. Результаты приведены в главах «Таблицы» и «Графики»; в первой также рассматриваются схемы. Для сканов со сплошным текстом я выделил отдельную главу, поскольку это типичный сценарий для текстового поиска.

Я проверил три модели: WeMM-2B, EmbeddingGemma-2 и pplx-embed-late (далее pplx). Эксперименты охватывают сканы, таблицы, графики, инфографику и схемы. Помимо качества поиска, я проверял влияние настроек: разрешения изображения, количества токенов, качества скана и формулировки вопроса.

Находят ли они нужную страницу первой?
  • Сканы и финансовые таблицы лучше всех находит pplx.

  • Графики по общему виду находит WeMM, хотя там pplx близко; по точному значению на графике лучше pplx: на моих графиках ВВП pplx 0.824 против 0.397 у WeMM.

  • Инфографику и презентации тоже WeMM, хотя там pplx почти вровень.

  • EmbeddingGemma-2 на всех реальных наборах позади.

  • Схемы и интерфейсы я проверил только на синтетике, это проверка механизма. Точные значения для каждого набора в сводной таблице ниже.

Что будет, если сжать страницу?

На сканах страницу можно ограничить 1 Мп (мегапикселем): токенов, то есть кусочков картинки для модели, становится в 1.8–2.2 раза меньше, а hit@1 у WeMM не меняется, у pplx на DocVQA падает на 0.02; при 0.25 Мп оба заметно падают.

Какую модель брать?
  • Для сканов и таблиц pplx (но его индекс сильно больше).

  • Для графиков WeMM, если вопрос про общий вид, и pplx, если про конкретное значение;

  • для презентаций WeMM.

  • Если мало GPU и важна скорость, EmbeddingGemma-2.

План такой: три модели и как я проверял, одна таблица со всеми метриками, описание наборов, затем пять частей по типам страниц (сканы и текст, таблицы, графики, инфографика и слайды, схемы и интерфейсы), железо и размер индекса, что выбрать и заключение.


Три модели

  • WeMM-2B: один вектор на страницу, 2048 измерений.

  • EmbeddingGemma-2: один вектор на страницу, 768 измерений.

  • pplx-embed-late: вектор на каждый токен (по 128 измерений), поиск по схеме late interaction (MaxSim).

Все три принимают страницу целиком и ищут по вопросу на обычном языке. Часть моделей умеет подавать в один вход картинку и текст, например заголовок раздела, и получать один вектор:

  • WeMM-2B: картинка и текст в одном сообщении (по документации).

  • EmbeddingGemma-2: метка <|image|> внутри текста, общий бюджет 8 192 токена, одна картинка по умолчанию занимает 280 (по документации).

  • pplx: смешанный вход не поддерживается, картинки и текст кодируются отдельными вызовами.

Как проверяли

Один тест выглядит так. Все страницы набора превращаются в векторы и кладутся в Qdrant. Вопрос тоже превращается в вектор, Qdrant возвращает 20 ближайших страниц. Смотрим, на каком месте стоит нужная страница.

Главная метрика hit@1: доля вопросов, у которых нужная страница на первом месте. Если у вопроса несколько подходящих страниц, засчитывается любая из них.

Подробнее
  • Разности между настройками и между моделями считаются парно, на одних и тех же вопросах, интервал 95% даёт bootstrap (пересчёт на случайных перевыборках страниц) по верной странице. Интервалы самих hit@1 посчитаны тем же bootstrap-ом, 2000 повторов. Разности с базой приведены для сжатия на DocVQA и ChartQA, в остальных таблицах стоят интервалы самих hit@1.

  • Если интервал разности содержит ноль, пишу «в пределах шума»: разницу на моих данных отличить нельзя, но это не доказывает, что её нет.

  • В каждом прогоне есть контроль: запросы перемешаны между страницами. hit@1 контроля должен быть ниже 0.10, иначе модель угадывает не по смыслу.

Термины

Late interaction (MaxSim) это поиск, где у страницы и у вопроса по вектору на каждый токен, а близость считается по лучшим парам токенов.

Лимит 2.18 Мп это максимум пикселей страницы, который я подавал моделям в базовом замере. У WeMM токен картинки это кусок страницы около 32×32 пикселя.


Все метрики одной таблицей

Базовый замер: страница в родном размере (лимит 2.18 Мп), бюджет EmbeddingGemma-2 280 токенов, только картинка.

  • Везде hit@1, лучший результат в строке выделен.

  • Пул это число страниц в индексе.

  • hit@1 разных наборов напрямую не сравнивается: пулы и вопросы разные.

  • Один тип данных встречается с разным числом вопросов, потому что это разные наборы вопросов: ChartQA в сводной таблице 486 вопросов, а лестница сжатия на графиках идёт на другом срезе: 300 других графиков из обучающей части и 626 вопросов; таблицы из 25 страниц в сводной таблице 75 вопросов, в разборе описаний рядом 154; у DocVQA в сводной таблице пул 300 страниц, а в лестницах 280: это число страниц, на которые есть вопросы.

Таблица метрик

Тип страниц

Набор

Происхождение

Пул

Вопросов

EG2

WeMM

pplx

Инфографика и слайды

InfoVQA

реальная инфографика

500

500

0.668

0.852

0.846

SlideVQA

реальные слайды презентаций

1 284

410

0.763

0.946

0.937

Графики

ChartQA

реальные графики

300

486

0.514

0.691

0.611

ChartQA, срез для сжатия

реальные графики из обучающей части ChartQA, другие 300 графиков и другие вопросы

300

626

0.200

0.514

0.275

PlotQA

научные графики, синтетика

1 000

500

0.672

0.840

0.754

Графики ВВП

синтетика, столбчатые графики ВВП пяти стран по годам

100

609

0.455

0.397

0.824

Таблицы

TAT-DQA

реальные страницы финансовых отчётов

274

1 000

0.306

0.578

0.650

Таблицы, 25 штук

синтетика, однотипные, отличаются ячейками

25

75

0.413

0.373

0.947

Таблицы, 100 штук

синтетика, однотипные, отличаются ячейками

100

300

0.327

0.337

0.900

Таблицы, 60 строк

синтетика, длинные таблицы

25

75

0.333

0.347

0.693

Сканы документов

DocVQA

реальные сканы и фото документов

300

1 000

0.380

0.605

0.678

MP-DocVQA, пул 409

реальные страницы многостраничных документов

409

500

0.364

0.610

0.674

MP-DocVQA, пул 1 499

те же вопросы, пул шире

1 499

500

0.286

0.532

0.570

Русские сканы

10 синтетических деловых страниц с «соседями»

282

228

0.382

0.846

0.890

Внутренний корпус

документы компании

545

46

0.217

0.609

0.783

Схемы

Схемы разреженные

синтетика, блоки с подписями

25

48

0.896

0.875

0.958

Схемы плотные

синтетика, много блоков

25

50

0.400

0.420

0.700

Схемы без подписей

синтетика, блоки без текста

20

20

0.300

0.300

0.200

Интерфейс

Скриншот с подписью шага

синтетика, скриншот со стрелкой

25

25

0.520

1.000

1.000

Скриншот без подписи

синтетика, скриншот со стрелкой

25

25

0.600

0.960

1.000

Реальные наборы дают цифры с оговоркой об однозначности вопросов (см. таблицу набора в каждой главе).

Синтетика проверяет механизм: нужная страница известна по построению, вопросы написаны по шаблонам, к реальным документам цифры не переносятся.

У русского набора 10 независимых страниц, у внутреннего корпуса 46 вопросов.

Внутренний корпус считается по любой правильной странице, у части вопросов их несколько.


Наборы данных: что в них лежит

InfoVQA. Инфографика из интернета. 500 картинок и 500 вопросов, по одному на картинку, вопросы размечены вручную. Английский.

SlideVQA. Слайды презентаций: текст, цифры, диаграммы, таблицы. Корпус 1 284 слайда, 556 вопросов; у 146 вопросов подходит несколько слайдов, в замер взяты 410 вопросов с одной правильной страницей.

ChartQA. Графики разных видов. Для замера взяты 300 случайных графиков и 486 вопросов (236 написали люди, 250 сгенерированы). Одна правильная картинка на вопрос.

ChartQA, срез для сжатия

Другие 300 графиков из обучающей части ChartQA и 626 вопросов к ним, список взят подряд, не случайно; с графиками основной таблицы он не пересекается. В срезе только вопросы, написанные людьми, а основная таблица смешивает 236 человеческих и 250 сгенерированных, и сгенерированные всем даются заметно легче (у WeMM 0.824 против 0.551 на человеческих). На человеческих вопросах у WeMM 0.551 против 0.514 в срезе, разница в пределах шума. У pplx 0.449 против 0.275 и у EmbeddingGemma-2 0.386 против 0.200 разрыв значимый, и я его не объясняю: составы вопросов и графиков срезов не сравнивал, контрольного прогона на случайных графиках train не делал. Порядок моделей везде один (WeMM, pplx, EmbeddingGemma-2), поэтому срез годится для сравнения внутри себя (на нём стоит лестница сжатия), но не для сравнения абсолютных значений с основной таблицей.

PlotQA. Научные графики (показатели стран по годам), синтетика. Корпус 9 590 графиков, для замера 500 случайных вопросов и пул 1 000 графиков (500 правильных и 500 случайных).

TAT-DQA. Страницы финансовых отчётов с таблицами. Пул 274 страницы, 1 000 вопросов. Вопрос привязан к документу, в оценку идёт одна страница на документ; у 16% документов (45 из 274) ответ может быть на нескольких страницах. Остальных страниц таких документов в пуле нет, поэтому поиск сразу нескольких нужных страниц я не измерял.

DocVQA. Сканы документов, вопросы про содержимое. 300 страниц и 1 000 вопросов.

MP-DocVQA. Страницы многостраничных документов. 500 вопросов, пулы 409 и 1 499 страниц со случайными лишними страницами.

Русские сканы. 10 страниц деловых документов (договоры, выписка из реестра, чек) из публичного бенчмарка, страницы синтетические. 228 вопросов написал я по транскрипции: 120 с опознающими словами (номер договора, стороны) и 108 только про деталь. К страницам добавлены «соседи» в пяти вариантах качества, таблицы Росстата и конспекты: до 282 страниц.

Внутренний корпус. 67 внутренних документов компании (docx, pdf, doc), пул 545 страниц, 46 вопросов. Страницы не публикуются, метрики допустимы.

Мои синтетические наборы. Графики ВВП, таблицы, схемы и скриншоты интерфейса я сделал сам: нужная страница известна по построению, вопросы написаны по шаблонам (год, значение, порядок, ячейка, итог, подпись блока). Реальных схем и скриншотов в статье нет.

ViDoRe V3 (industrial). Страницы промышленных документов, английская часть: 5 244 страницы и 283 вопроса. К вопросу размечено несколько страниц: оценка 2 значит «страница полностью отвечает», оценка 1 «страница нужна для ответа». В среднем 5.7 страницы на вопрос; у 80 вопросов страница одна, у 203 две и больше. Текст страниц взят из готовой разметки авторов набора, а не из нашего распознавания. Карточка pplx заявляет замер на ViDoRe V3, поэтому набор может быть для неё привычным.


Сканы и текст: основной случай для поиска по документам

Это обычный случай текстового RAG: страницы, где смысл лежит в строках. Здесь разобраны все настройки: сжатие, качество скана, формулировка вопроса, число страниц, картинка или текст.

Как выглядят страницы

Сканы из DocVQA и русский деловой документ из моего набора. Вопрос к каждой странице написан по её содержимому.

DocVQA, сканы документов
«What is name of university?»

«What is name of university?»
«What is the title of the document ?»

«What is the title of the document ?»
«Which brand's gold tipped version is proposed under "Brand Extensions"?»

«Which brand’s gold tipped version is proposed under “Brand Extensions”?»

Русские сканы, договоры

Вопросы русского набора написаны по тексту страниц, например «Какова ежемесячная плата за аренду бункера в Серпухове?»

Примеры документов
Страница 1

Страница 1
Страница 2

Страница 2

Сканы: pplx впереди, EmbeddingGemma-2 далеко позади

Страница в родном размере (лимит 2.18 Мп), бюджет EmbeddingGemma-2 280 токенов, только картинка. hit@1 и интервал 95%.

Таблица с метриками

Набор

Что в нём

Пул

Вопросов

EG2

WeMM

pplx

DocVQA

сканы и фото документов

300

1 000

0.380 [0.336, 0.422]

0.605 [0.564, 0.646]

0.678 [0.640, 0.715]

MP-DocVQA

страницы многостраничных документов

409

500

0.364 [0.319, 0.410]

0.610 [0.565, 0.655]

0.674 [0.631, 0.717]

MP-DocVQA, пул шире

те же вопросы

1 499

500

0.286 [0.243, 0.327]

0.532 [0.485, 0.579]

0.570 [0.526, 0.618]

Русские сканы

10 синтетических деловых страниц с «соседями»

282

228

0.382 [0.270, 0.506]

0.846 [0.780, 0.909]

0.890 [0.819, 0.947]

Внутренний корпус

документы компании

545

46

0.217

0.609

0.783

Текст вопроса совпадает у вопросов к разным страницам примерно в каждом десятом случае DocVQA. Если их убрать, порядок моделей тот же. Смысловая неоднозначность («что на оси x?») этим не ловится, так что цифры остаются нижней границей.

Пример удачного поиска. Вопрос: «Какова ежемесячная плата за аренду бункера в Серпухове?» Нужная страница: стр. 2 (договор аренды, 60 000 рублей в месяц). Все три модели поставили её на первое место.

Вопрос называет Серпухов и бункер, и этого хватило.

Примеры вторых страниц на Вопрос: «Какова ежемесячная плата за аренду бункера в Серпухове?»

Нужная страница

От картинки к релевантной странице: исследование мультимодальных эмбеддингов - 7

Вторая у WeMM (договор на стр. 8)

От картинки к релевантной странице: исследование мультимодальных эмбеддингов - 8

Вторая у EmbeddingGemma-2 (таблица Росстата)

От картинки к релевантной странице: исследование мультимодальных эмбеддингов - 9
От картинки к релевантной странице: исследование мультимодальных эмбеддингов - 10

Сжатие картинки: лимит в мегапикселях и сжатие в k раз

Я ограничивал размер картинки лимитом 0.25, 0.5 и 1.0 Мп и сравнивал с базовым 2 Мп, а ещё сжимал страницу по площади в k раз от ÷1 до ÷5. Лимиты проверены на русском наборе (228 вопросов, 10 страниц) и на DocVQA, сжатие в k раз на DocVQA. Интервалы на русском широкие, потому что независимых страниц десять. Парное сравнение с базой на тех же вопросах даёт интервалы уже.

Лимит пикселей на русском наборе (228 вопросов, 10 независимых страниц, пул с соседями 282), hit@1, без интервалов:

Таблица с метриками

Лимит

EmbeddingGemma-2

WeMM-2B

pplx

2 Мп (база)

0.382

0.846

0.890

1 Мп

0.386

0.838

0.899

0.5 Мп

0.390

0.759

0.807

0.25 Мп

0.645

0.693

0.645

0.125 Мп

0.548

—

—

WeMM-2B: на русском наборе 1 Мп без потерь, дальше качество падает

При 1 Мп токенов в 2.2 раза меньше, а на русском наборе качество практически не меняется, в пределах шума. При 0.5 и 0.25 Мп потеря уже заметна. На DocVQA падение мягче.

Сжатие по площади, DocVQA (1000 вопросов, 280 страниц): ÷1 это исходный размер, шаг 0.5 до ÷5. Метрики с интервалом 95%, MRR@10 без интервала.

Таблица с метриками: DocVQA для WeMM

Сжатие

Пиксели на страницу, средн.

hit@1

hit@5

hit@10

MRR@10

÷1

—

0.605 [0.564, 0.646]

0.801 [0.768, 0.832]

0.860 [0.834, 0.885]

0.693

÷1.5

1432180 (≈1196²)

0.613 [0.572, 0.654]

0.807 [0.776, 0.837]

0.858 [0.832, 0.884]

0.696

÷2

1083162 (≈1040²)

0.613 [0.576, 0.652]

0.806 [0.774, 0.837]

0.860 [0.836, 0.885]

0.696

÷2.5

870143 (≈932²)

0.599 [0.560, 0.639]

0.802 [0.772, 0.832]

0.856 [0.829, 0.882]

0.688

÷3

725124 (≈851²)

0.600 [0.560, 0.640]

0.806 [0.777, 0.834]

0.859 [0.833, 0.885]

0.690

÷3.5

621536 (≈788²)

0.594 [0.555, 0.635]

0.807 [0.775, 0.838]

0.855 [0.828, 0.882]

0.685

÷4

543808 (≈737²)

0.604 [0.564, 0.643]

0.799 [0.767, 0.831]

0.856 [0.829, 0.882]

0.689

÷4.5

483297 (≈695²)

0.585 [0.543, 0.626]

0.801 [0.770, 0.832]

0.852 [0.824, 0.878]

0.678

÷5

434958 (≈659²)

0.606 [0.566, 0.646]

0.785 [0.754, 0.816]

0.847 [0.820, 0.874]

0.686

Держится ровно: на ÷5 hit@1 и hit@10 почти те же, что на базе.
Это касается DocVQA: на графиках (ниже) WeMM теряет уже при ÷1.5, так что допустимое сжатие зависит от набора.

pplx-embed-late: на 1 Мп потеря небольшая, на 0.25 Мп русский набор заметно падает

На русском наборе то же, что у WeMM: при 1 Мп качество не меняется, при 0.5 и особенно 0.25 Мп падает. На DocVQA потеря растёт плавно; уже при ≈1 Мп (÷2) она небольшая, но не нулевая (около 0.02).

Таблица с метриками: DocVQA для pplx

Сжатие

Пиксели на страницу, средн.

hit@1

hit@5

hit@10

MRR@10

÷1

—

0.678 [0.640, 0.715]

0.829 [0.802, 0.855]

0.856 [0.831, 0.880]

0.739

÷1.5

1432180 (≈1196²)

0.664 [0.624, 0.703]

0.830 [0.804, 0.856]

0.861 [0.836, 0.884]

0.734

÷2

1083162 (≈1040²)

0.659 [0.619, 0.699]

0.831 [0.805, 0.857]

0.862 [0.838, 0.885]

0.731

÷2.5

870143 (≈932²)

0.656 [0.618, 0.695]

0.833 [0.806, 0.859]

0.862 [0.837, 0.885]

0.732

÷3

725124 (≈851²)

0.654 [0.614, 0.692]

0.820 [0.793, 0.847]

0.857 [0.831, 0.880]

0.725

÷3.5

621536 (≈788²)

0.641 [0.602, 0.680]

0.818 [0.791, 0.845]

0.854 [0.830, 0.877]

0.715

÷4

543808 (≈737²)

0.640 [0.598, 0.680]

0.808 [0.781, 0.837]

0.852 [0.826, 0.876]

0.714

÷4.5

483297 (≈695²)

0.636 [0.595, 0.676]

0.801 [0.774, 0.828]

0.853 [0.828, 0.878]

0.710

÷5

434958 (≈659²)

0.616 [0.576, 0.656]

0.809 [0.781, 0.837]

0.850 [0.824, 0.874]

0.699

hit@1 теряет плавно, а hit@10 почти не меняется.

EmbeddingGemma-2: размер картинки почти не влияет, кроме аномалии на 0.25 Мп

Токены у неё задаёт бюджет, поэтому лимиты 1 и 0.5 Мп ничего не меняют: на русском наборе результат на 2, 1 и 0.5 Мп практически один. При 0.25 Мп он неожиданно сильно растёт, при 0.125 Мп снова снижается, то есть зависимость немонотонная. На DocVQA при 0.25 Мп прирост совсем небольшой. До уровня WeMM и pplx на базе этот рост её не доводит. Бюджет токенов в сводной таблице базовый, 280: больший бюджет помогает не везде (таблица ниже), а при 0.25 Мп ничего не добавляет. Контроль перемешанных запросов в норме, эффект измерен на 10 страницах. Причину я не выяснил: гипотеза в том, что наше уменьшение со сглаживанием даёт модели более чистую картинку, чем её собственное;

hit@1 EmbeddingGemma-2 при разном бюджете токенов на страницу (страница в родном размере, без интервалов):

Таблица с метриками:бюджета токенов на страницу

Набор

70

140

280 (база)

560

1120

DocVQA

0.258

0.373

0.380

0.428

0.374

TAT-DQA

0.061

0.212

0.306

0.287

0.247

ChartQA, срез для сжатия

0.181

0.188

0.200

0.200

0.200

Внутренний корпус (46 вопросов)

0.141

0.333

0.217

0.420

0.496

Для внутреннего корпуса прогонки бюджета в реестре считаются по первой правильной странице, а база остальной статьи по любой правильной (при 280 это 0.196 против 0.217); разница в пределах одного вопроса из 46, вывод о росте бюджета это не меняет.

Эффект зависит от набора: на графиках и TAT-DQA бюджет ничего не добавляет, на DocVQA лучший 560 (плюс около 0.05), на внутреннем корпусе рост заметный. На DocVQA и TAT-DQA она и при лучшем бюджете остаётся ниже WeMM и pplx.

Сжатие по площади, DocVQA (1000 вопросов, 280 страниц): ÷1 это исходный размер, шаг 0.5 до ÷5. Метрики с интервалом 95%, MRR@10 без интервала.

Таблица с метриками: DocVQA для EmbeddingGemma-2

Сжатие

Пиксели на страницу, средн.

hit@1

hit@5

hit@10

MRR@10

÷1

—

0.380 [0.336, 0.422]

0.634 [0.593, 0.675]

0.706 [0.669, 0.742]

0.488

÷1.5

1432180 (≈1196²)

0.381 [0.337, 0.423]

0.628 [0.586, 0.668]

0.703 [0.665, 0.740]

0.487

÷2

1083162 (≈1040²)

0.384 [0.341, 0.424]

0.629 [0.588, 0.668]

0.703 [0.665, 0.740]

0.488

÷2.5

870143 (≈932²)

0.381 [0.337, 0.422]

0.619 [0.576, 0.660]

0.699 [0.662, 0.734]

0.486

÷3

725124 (≈851²)

0.383 [0.340, 0.426]

0.625 [0.583, 0.665]

0.700 [0.662, 0.736]

0.484

÷3.5

621536 (≈788²)

0.377 [0.335, 0.418]

0.619 [0.578, 0.659]

0.700 [0.662, 0.736]

0.483

÷4

543808 (≈737²)

0.377 [0.333, 0.419]

0.609 [0.566, 0.649]

0.694 [0.657, 0.729]

0.477

÷4.5

483297 (≈695²)

0.368 [0.325, 0.409]

0.610 [0.569, 0.648]

0.685 [0.646, 0.721]

0.470

÷5

434958 (≈659²)

0.363 [0.320, 0.405]

0.597 [0.555, 0.638]

0.670 [0.632, 0.706]

0.462

Разность hit@1 с базой на тех же вопросах (DocVQA, 1000 вопросов), интервал 95%:

Таблица с метриками

Модель

÷1.5

÷2

÷5

EmbeddingGemma-2

+0.001 [-0.008, +0.010]

+0.004 [-0.007, +0.015]

-0.017 [-0.042, +0.010]

WeMM-2B

+0.008 [-0.010, +0.025]

+0.008 [-0.012, +0.028]

+0.001 [-0.022, +0.023]

pplx

-0.014 [-0.028, +0.000]

-0.019 [-0.034, -0.003]

-0.062 [-0.084, -0.041]

Почти не меняется: hit@1 и hit@10 чуть снижаются, всё в пределах интервалов базы; в разностях с базой WeMM и EmbeddingGemma-2 не отличаются даже на ÷5, pplx теряет уже на ÷2.


У WeMM плотные страницы теряют от сжатия больше

Плотность здесь доля тёмных пикселей на странице (серый ниже 128), страницы разбиты на четыре равные группы по этой доле, Q4 самые плотные. Это прокси: сложность вопроса с плотностью смешана. hit@1 и интервал 95%, база и лимит 0.25 Мп:

Таблица с метриками: DocVQA

Квартиль плотности

WeMM-2B база

WeMM-2B 0.25 Мп

pplx-embed-late база

pplx 0.25 Мп

Q1

0.537 [0.453, 0.618]

0.528 [0.445, 0.611]

0.659 [0.579, 0.737]

0.568 [0.476, 0.660]

Q2

0.578 [0.496, 0.657]

0.570 [0.489, 0.651]

0.624 [0.541, 0.706]

0.561 [0.483, 0.640]

Q3

0.656 [0.561, 0.737]

0.598 [0.504, 0.690]

0.717 [0.635, 0.792]

0.602 [0.514, 0.682]

Q4

0.638 [0.560, 0.710]

0.528 [0.445, 0.615]

0.703 [0.635, 0.772]

0.576 [0.492, 0.657]

Таблица с метриками: TAT-DQA

Квартиль плотности

WeMM-2B база

WeMM-2B 0.25 Мп

pplx-embed-late база

pplx 0.25 Мп

Q1

0.651 [0.552, 0.746]

0.552 [0.444, 0.655]

0.754 [0.667, 0.837]

0.496 [0.381, 0.607]

Q2

0.535 [0.444, 0.624]

0.442 [0.349, 0.535]

0.612 [0.520, 0.696]

0.399 [0.314, 0.488]

Q3

0.496 [0.415, 0.585]

0.435 [0.329, 0.537]

0.573 [0.476, 0.671]

0.423 [0.325, 0.516]

Q4

0.631 [0.541, 0.717]

0.377 [0.277, 0.480]

0.660 [0.561, 0.752]

0.492 [0.393, 0.594]

У WeMM на самых плотных страницах (Q4) падение самое резкое на обоих наборах, а на разреженных страницах DocVQA разницы почти нет. pplx теряет на всех квартилях, на TAT-DQA сильнее всего на разреженных. Большинство интервалов квартилей перекрываются, это тенденция, а не подтверждённая разница; исключение у pplx на TAT-DQA Q1, где интервалы базы и 0.25 Мп не пересекаются.


Плохой скан: pplx почти не замечает, WeMM слабее на дефектах печати (31 страница)

Русские страницы в пяти вариантах качества, в каждом варианте свой пул из 31 страницы: 10 целевых и 21 страница-сосед. В таблице базовый вариант и худший для каждой модели, hit@1 по набору «с опознающими словами»:

Таблица с метриками

Модель

оригинал

худший вариант качества

EmbeddingGemma-2

0.775

0.642

WeMM-2B

0.958

0.917 (дефекты печати)

pplx-embed-late

0.983

0.975

pplx почти не боится плохого скана. WeMM слабее на дефектах печати:
на 282 страницах 0.950 → 0.833.

Искусственное «ухудшение под скан» (поворот, размытие, шум) на внутреннем корпусе различий не дало, но это 46 вопросов и не настоящий скан.


Размытый вопрос без названия документа находят хуже точного

Вот два вопроса к одной странице. Нужная страница: стр. 4, договор оказания услуг № 318.

Размытый. «Каким способом перечисляются деньги исполнителю?» WeMM и pplx поставили на первые пять мест пять вариантов качества стр. 3, нужная страница пришла шестой. EmbeddingGemma-2 не нашла её в первой двадцатке.

Точный. «Каким способом производится оплата исполнителю Ковалёвой по договору возмездного оказания услуг № 318 и в какой срок?» Нужная страница первая у всех трёх моделей.

Примеры страниц у моделей

Нужная страница (стр. 4)

От картинки к релевантной странице: исследование мультимодальных эмбеддингов - 11

Что поставили первой на размытый вопрос (стр. 3)

От картинки к релевантной странице: исследование мультимодальных эмбеддингов - 12

Обе страницы похожи: это договоры об оказании услуг. На стр. 3 есть п. 5.3: «Оплата производится посредством перечисления денежных средств Исполнителю на счёт карты, расчётный счёт». На размытый вопрос стр. 3 тоже отвечает.

Вопросов только про деталь 108 из 228. Среди них минимум 10 неоднозначных: на другой странице набора есть ответ того же типа (номер страницы стоит на 11 страницах, электронная почта на 8, раздел с номером 4 на 16). Решение по смыслу принимал я один, это нижняя граница.

hit@1 по вопросам «только деталь», набор из 282 страниц:

Таблица с метриками

Модель

все 108 вопросов

без 10 неоднозначных

EmbeddingGemma-2

0.148

0.153

WeMM-2B

0.731

0.786 [0.691, 0.876]

pplx-embed-late

0.806

0.878

На десяти парах «размытый вопрос → тот же вопрос с названием документа» hit@1 вырос: EmbeddingGemma-2 с 2 до 8 из 10, WeMM с 1 до 8, pplx с 0 до 10. Это иллюстрация направления: вопросы я выбирал из промахов и переписывал, зная текст страницы.

Практический вывод: добавляйте к запросу признаки документа (номер, стороны, город) или фильтруйте по метаданным рядом с вектором.

Больше страниц: WeMM и pplx выходят на плато, EmbeddingGemma-2 продолжает падать

Один набор вопросов на 10, 31, 115 и 282 страницах, hit@1 и интервал 95%. Вопросы с опознающими словами (120):

Таблица с метриками

Модель

10

31

115

282

EmbeddingGemma-2

0.850 [0.758, 0.933]

0.775 [0.633, 0.908]

0.658 [0.508, 0.825]

0.592 [0.417, 0.792]

WeMM-2B

0.975 [0.950, 1.000]

0.958 [0.908, 1.000]

0.950 [0.883, 1.000]

0.950 [0.883, 1.000]

pplx-embed-late

1.000 [1.000, 1.000]

0.983 [0.958, 1.000]

0.975 [0.933, 1.000]

0.967 [0.925, 1.000]

Вопросы только про деталь (108):

Таблица с метриками

Модель

10

31

115

282

EmbeddingGemma-2

0.565 [0.410, 0.724]

0.389 [0.196, 0.568]

0.259 [0.119, 0.400]

0.148 [0.040, 0.265]

WeMM-2B

0.880 [0.825, 0.933]

0.796 [0.716, 0.882]

0.750 [0.652, 0.846]

0.731 [0.637, 0.827]

pplx-embed-late

0.926 [0.875, 0.972]

0.833 [0.718, 0.928]

0.815 [0.710, 0.905]

0.806 [0.701, 0.898]

  • У WeMM и pplx кривая выходит на плато: на вопросах «только деталь» от 115 до 282 страниц результат почти не меняется, интервалы почти совпадают.

  • У EmbeddingGemma-2 падение не останавливается: на тех же вопросах результат продолжает снижаться.

  • Для двух сильных моделей пул больше 282 страниц на русском наборе не проверен.

Вывод по главе «Сканы и текст». На реальных сканах pplx впереди, на русском наборе тоже (хотя там всего 10 независимых страниц), EmbeddingGemma-2 далеко позади. На сканах страницу можно ограничить 1 Мп без потерь для WeMM, у pplx потеря небольшая. На DocVQA WeMM держится до самого сильного шага лестницы (÷5, остаётся 0.43 Мп). Сравнивать допустимое сжатие между наборами нельзя: у графиков стартовая страница около 0.12 Мп против примерно 2 Мп на сканах, и «÷1.5» там означает 0.08 Мп, ниже любой проверенной на сканах точки. Ниже 1 Мп на русском наборе WeMM и pplx теряют качество, у EmbeddingGemma-2 зависимость немонотонная, её аномальный рост при 0.25 Мп разобран выше. Плохой скан pplx почти не замечает, WeMM слабее на дефектах печати. С ростом пула WeMM и pplx выходят на плато, EmbeddingGemma-2 продолжает падать.


Таблицы: сотня похожих страниц

Страницы, где ответ лежит в ячейке. Текст таблицы у сотни похожих страниц почти одинаков, поэтому такой поиск проверяет, различает ли модель страницы, которые отличаются несколькими ячейками.

Как выглядят страницы

Финансовые отчёты TAT-DQA (реальные страницы) и мои синтетические таблицы продаж.

TAT-DQA, финансовые отчёты
«What is the change in the projected benefit obligation of the benefit plans recognized as?»

«What is the change in the projected benefit obligation of the benefit plans recognized as?»
  «What were the total expenses in 2019?»

  «What were the total expenses in 2019?»
  «What results in deferred income taxes?»

  «What results in deferred income taxes?»
Синтетические таблицы продаж
«Покажи таблицу продаж по филиалу «Север» за 2000 год.»

«Покажи таблицу продаж по филиалу «Север» за 2000 год.»
«Покажи таблицу продаж по филиалу «Юг» за 2001 год.»

«Покажи таблицу продаж по филиалу «Юг» за 2001 год.»
«Покажи таблицу продаж по филиалу «Запад» за 2002 год.»

«Покажи таблицу продаж по филиалу «Запад» за 2002 год.»

Таблицы TAT-DQA: pplx 0.650, WeMM 0.578, EmbeddingGemma-2 0.306

hit@1 и интервал 95%, условия те же, что в главе про сканы.

Таблица с метриками

Набор

Что в нём

Пул

Вопросов

EG-2

WeMM-2B

pplx

TAT-DQA

финансовые отчёты с таблицами

274

1 000

0.306 [0.261, 0.352]

0.578 [0.529, 0.624]

0.650 [0.603, 0.697]

Таблицы, 25 штук

синтетика, однотипные, отличаются ячейками

25

75

0.413 [0.347, 0.480]

0.373 [0.333, 0.413]

0.947 [0.893, 0.987]

Таблицы, 100 штук

синтетика, то же, страниц больше

100

300

0.327 [0.307, 0.347]

0.337 [0.333, 0.343]

0.900 [0.870, 0.930]

Таблицы, 60 строк

синтетика, длинные

25

75

0.333 [0.293, 0.373]

0.347 [0.333, 0.373]

0.693 [0.640, 0.747]

У TAT-DQA текст вопроса совпадает у малой доли вопросов (около 1%); без них порядок моделей тот же.

Узкие интервалы на синтетике (у WeMM на 100 таблицах он почти нулевой ширины) не значат высокой точности: интервал считается по страницам, а у EmbeddingGemma-2 и WeMM результат на этих таблицах около одной трети. Примеры вопросов к синтетическим таблицам называют филиал и год; разбивки результата по типам вопросов (ячейка, итог) у меня нет.

Пример 1. Таблица в финансовом отчёте. Вопрос: «What is the remaining estimated life of plan participants?» EmbeddingGemma-2 и pplx поставили нужную страницу первой, WeMM на третье место.

Вопрос: «What is the remaining estimated life of plan participants?»

нужная страница

От картинки к релевантной странице: исследование мультимодальных эмбеддингов - 19

Первая у WeMM

От картинки к релевантной странице: исследование мультимодальных эмбеддингов - 20

Пример 2. Вопрос по цифре. Вопрос: «What is the amount of net deferred tax assets in 2019?» Ни одна модель не поставила нужную страницу первой: EmbeddingGemma-2 и pplx на втором месте, WeMM на пятом.

Вопрос: «What is the amount of net deferred tax assets in 2019?»

Нужная страница

От картинки к релевантной странице: исследование мультимодальных эмбеддингов - 21

Первая у EmbeddingGemma-2

От картинки к релевантной странице: исследование мультимодальных эмбеддингов - 22

Первая у WeMM

От картинки к релевантной странице: исследование мультимодальных эмбеддингов - 23

Первая у pplx

От картинки к релевантной странице: исследование мультимодальных эмбеддингов - 24

Сжатие картинки на TAT-DQA

TAT-DQA, hit@1 и интервал 95%:

Таблица с метриками

Лимит

EmbeddingGemma-2

WeMM-2B

pplx-embed-late

база

0.309 [0.262, 0.355]

0.582 [0.534, 0.628]

0.650 [0.603, 0.697]

1.0 Мп

0.300 [0.254, 0.345]

0.575 [0.525, 0.620]

0.636 [0.589, 0.683]

0.5 Мп

0.297 [0.251, 0.345]

0.523 [0.469, 0.572]

0.581 [0.532, 0.629]

0.25 Мп

0.254 [0.209, 0.300]

0.452 [0.400, 0.507]

0.452 [0.402, 0.500]

Интервалы английских наборов (DocVQA в главе про сканы, TAT-DQA здесь) считались по верной странице, на 272–300 страницах они уже, чем на русском. База TAT-DQA здесь из повторного прогона, в сводной таблице из первого: разница в третьем знаке.

Описание рядом с таблицей: у pplx хуже картинки, у EmbeddingGemma-2 немного помогает

Модели можно дать текст рядом с картинкой, и я проверил три способа индексации: только картинка, картинка и описание в одном входе, только описание. Описание содержит точные значения, это верхняя граница подхода.

На таблицах (25 страниц, отдельный набор из 154 вопросов) и схемах (25 страниц, отдельный набор из 59 вопросов) описание рядом работает иначе, чем на графиках. hit@1 и интервал 95%, описание с точными значениями:

Таблица с метриками

Набор

Модель

Только картинка

Картинка + описание

Только описание

Таблицы

EmbeddingGemma-2

0.468 [0.408, 0.526]

0.519 [0.491, 0.550]

0.545 [0.513, 0.579]

WeMM-2B

0.513 [0.477, 0.556]

0.545 [0.513, 0.584]

0.552 [0.516, 0.594]

pplx-embed-late

0.929 [0.876, 0.974]

не поддерживается

0.747 [0.701, 0.797]

Схемы

EmbeddingGemma-2

0.644 [0.528, 0.754]

0.729 [0.639, 0.825]

0.746 [0.651, 0.840]

WeMM-2B

0.746 [0.661, 0.825]

0.763 [0.661, 0.852]

0.814 [0.732, 0.897]

pplx-embed-late

0.763 [0.673, 0.848]

не поддерживается

0.763 [0.684, 0.845]

  • У pplx на таблицах описание хуже картинки, на схемах такое же.

  • У EmbeddingGemma-2 описание на таблицах и схемах немного помогает, но на графиках вредит.

Вывод по главе «Таблицы». На реальных отчётах TAT-DQA pplx впереди, WeMM следом, EmbeddingGemma-2 далеко позади. На синтетике с сотней похожих таблиц разрыв ещё больше: pplx находит страницу в большинстве случаев, две другие модели примерно в трети, там страницы отличаются несколькими ячейками. Лимит 0.25 Мп снижает результат у всех. Описание рядом с таблицей у pplx хуже картинки: только картинка 0.929 против 0.747 у точного описания, а это потолок текстового пути. У EmbeddingGemma-2 и WeMM описание помогает немного (0.545 против 0.468 и 0.552 против 0.513).


Графики: форму графика модели видят, число читает не каждая

Страницы, где ответ виден по форме и по значению на картинке.

Как выглядят страницы

Научные графики PlotQA (синтетика) и мои графики ВВП пяти стран.

PlotQA, научные графики
«Does the total electricity produced in Azerbaijan monotonically increase over the years ?»

«Does the total electricity produced in Azerbaijan monotonically increase over the years ?»
«In how many years, is the CPIA rating in Sub-Saharan Africa (developing only) greater than the average CPIA rating in Sub-Saharan Africa (developing only) taken over all years ?»

«In how many years, is the CPIA rating in Sub-Saharan Africa (developing only) greater than the average CPIA rating in Sub-Saharan Africa (developing only) taken over all years ?»
«Does the line corresponding to Dominican Republic intersect with the line corresponding to Ireland ?»

«Does the line corresponding to Dominican Republic intersect with the line corresponding to Ireland ?»
Синтетические графики ВВП
«Покажи график ВВП по странам за 1925 год.»

«Покажи график ВВП по странам за 1925 год.»
«Покажи график ВВП по странам за 1926 год.»

«Покажи график ВВП по странам за 1926 год.»
«Покажи график ВВП по странам за 1927 год.»

«Покажи график ВВП по странам за 1927 год.»

Примеры выше в шаблоне «год». В других шаблонах вопрос называет страну: «На каком графике ВВП Германии равен 4.84 трлн долларов?» (значение) или «Найди график, где ВВП Германии самый большой, а второе место у Франции» (порядок); правильная страница у всех шаблонов известна по построению.

Графики: WeMM впереди на ChartQA (0.691) и PlotQA (0.840), на графиках ВВП лучше pplx (0.824)

hit@1 и интервал 95%.

Таблица с метриками

Набор

Что в нём

Пул

Вопросов

EmbeddingGemma-2

WeMM-2B

pplx-embed-late

ChartQA

графики разных видов

300

486

0.514 [0.466, 0.569]

0.691 [0.647, 0.737]

0.611 [0.565, 0.660]

PlotQA

научные графики, синтетика

1 000

500

0.672 [0.631, 0.715]

0.840 [0.808, 0.873]

0.754 [0.717, 0.793]

Графики ВВП, 100 штук

синтетика, пять стран по годам

100

609

0.455 [0.408, 0.504]

0.397 [0.362, 0.433]

0.824 [0.772, 0.877]

Описание рядом с графиком: общего прироста нет

Модели можно дать текст рядом с картинкой. Я проверил три способа индексации одних и тех же страниц:

  • только картинка;

  • картинка и описание страницы в одном входе, один вектор (WeMM-2B и EmbeddingGemma-2);

  • только описание как обычный текст, без картинки (так работает текстовый RAG).

Описание я сгенерировал вместе с набором: в нём точные значения графика, поэтому это верхняя граница подхода, а настоящая подпись была бы хуже. Данные: 100 графиков ВВП по пяти странам, 609 вопросов. Графики я построил сам, чтобы знать нужную страницу.

hit@1 и интервал 95%:

Таблица с метркиами

Модель

Только картинка

Картинка + описание

Только описание

EmbeddingGemma-2

0.455 [0.408, 0.504]

0.348 [0.326, 0.371]

0.361 [0.332, 0.393]

WeMM-2B

0.397 [0.362, 0.433]

0.392 [0.358, 0.428]

0.389 [0.354, 0.427]

pplx-embed-late

0.824 [0.772, 0.877]

смешанный вход не поддерживается

0.775 [0.723, 0.830]

  • Общего прироста от описания нет: у EmbeddingGemma-2 оно ухудшает результат, у WeMM остаётся в пределах шума, pplx лучше работает по картинке.

  • Контроль: если подложить описание чужой страницы, hit@1 падает до 0.03 у EmbeddingGemma-2 и WeMM. Модель идёт за текстом, а не за картинкой. Неверная подпись ломает поиск, верная ничего не добавляет.

  • На 20 графиках у WeMM на вопросах про значения был прирост (0.15 → 0.30). На 100 графиках он не подтвердился: по картинке 0.01, с описанием 0.05.

Формулировку вопроса (короткая, длинная, разговорная, с опечатками, английская, голый запрос) я проверил на значениях графика, по 20 вопросов на форму. hit@1 по шести формам: pplx 0.95–1.00, EmbeddingGemma-2 0.45–0.60, WeMM 0.05–0.15. Внутри каждой модели разброс между формами небольшой, интервалов по формам у меня нет.

Вывод по главе «Графики». По общему виду графика лидирует WeMM (ChartQA и PlotQA), pplx вторая, EmbeddingGemma-2 позади. Вопрос про график ВВП нужной страны и года на синтетике лучше находит pplx, у WeMM там результат более чем вдвое ниже. Сжатие здесь мерилось при стартовой странице 0.12 Мп: уже на ÷1.5 остаётся 0.08 Мп, ниже любой точки скановой лестницы (там минимум 0.43 Мп). Поэтому «графики чувствительнее сканов к сжатию» из этих данных не следует: WeMM валится на первом шаге, pplx теряет к ÷5 почти вдвое, но отделить абсолютный размер картинки от типа содержимого нечем. Внутри среза сравнение законно: WeMM падает сразу, pplx плавно, EmbeddingGemma-2 не меняется. Описание рядом с графиком общего прироста не даёт.


Инфографика и слайды

Страницы, где смысл лежит в вёрстке и подписях. Настройки здесь не менялись, только базовый замер.

Как выглядят страницы

Инфографика InfoVQA и слайды SlideVQA.

InfoVQA, инфографика
«Which category of apps enjoy the least percentage of popularity?»

«Which category of apps enjoy the least percentage of popularity?»
«Who is the CEO of JP Morgan?»

«Who is the CEO of JP Morgan?»
 «What percent of recruiters make most of their hires through LinkedIn?»

 «What percent of recruiters make most of their hires through LinkedIn?»
SlideVQA, слайды
 «What is the abbreviation of SIA?»

 «What is the abbreviation of SIA?»
 «Sahaja Aharam links farmers to whom?»

 «Sahaja Aharam links farmers to whom?»
 «What are four examples of addictive drugs that are Biologically Active Amines?»

 «What are four examples of addictive drugs that are Biologically Active Amines?»

Инфографика и слайды: WeMM и pplx почти вровень, EmbeddingGemma-2 позади

hit@1 и интервал 95%.

Таблица с метриками

Набор

Что в нём

Пул

Вопросов

EG-2

WeMM-2B

pplx

InfoVQA

инфографика

500

500

0.668 [0.626, 0.710]

0.852 [0.820, 0.882]

0.846 [0.814, 0.874]

SlideVQA

слайды презентаций

1 284

410

0.763 [0.717, 0.807]

0.946 [0.922, 0.967]

0.937 [0.911, 0.960]

У InfoVQA текст вопроса совпадает у малой доли вопросов (меньше 2%); без них порядок моделей тот же. У SlideVQA таких вопросов нет.

Пример. Инфографика. Вопрос: «What percent of recruiters make most of their hires through LinkedIn?» pplx поставил нужную страницу первой, EmbeddingGemma-2 и WeMM на второе место.

Вывод по главе «Инфографика и слайды». Здесь WeMM и pplx почти вровень, интервалы пересекаются, EmbeddingGemma-2 позади. Это самые высокие значения на реальных данных в статье.


Схемы и интерфейсы: проверка механизма на синтетике

Только синтетика: реальных схем и скриншотов у меня нет, поэтому это проверка механизма.

Как выглядят страницы

Схемы с блоками и скриншоты со стрелкой.

Синтетические схемы
 «Найди схему, где есть блок «Узел-01».»

 «Найди схему, где есть блок «Узел-01».»
 «Найди схему, где есть блок «Узел-03».»

 «Найди схему, где есть блок «Узел-03».»
«Найди схему, где есть блок «Узел-04».»

«Найди схему, где есть блок «Узел-04».»
Синтетические скриншоты интерфейса
 «Как загрузить отчёт «Продажи»? Куда нажать?»

 «Как загрузить отчёт «Продажи»? Куда нажать?»
  «Как загрузить файл «Баланс»? Куда нажать?»

  «Как загрузить файл «Баланс»? Куда нажать?»
  «Как загрузить отчёт «Склад»? Куда нажать?»

  «Как загрузить отчёт «Склад»? Куда нажать?»

Схемы и интерфейсы: плотные схемы вытягивает только pplx, без подписей у всех не выше 0.300

hit@1 и интервал 95%.

Таблица с метриками

Набор

Что в нём

Пул

Вопросов

EmbeddingGemma-2

WeMM-2B

pplx-embed-late

Схемы разреженные

синтетика, блоки с подписями

25

48

0.896 [0.812, 0.977]

0.875 [0.755, 0.976]

0.958 [0.896, 1.000]

Схемы плотные

синтетика, много блоков

25

50

0.400 [0.280, 0.520]

0.420 [0.300, 0.540]

0.700 [0.600, 0.800]

Схемы без подписей

синтетика, блоки без текста

20

20

0.300 [0.100, 0.500]

0.300 [0.100, 0.500]

0.200 [0.050, 0.400]

Интерфейс с подписью шага

синтетика, скриншот со стрелкой

25

25

0.520 [0.320, 0.720]

1.000 [1.000, 1.000]

1.000 [1.000, 1.000]

Интерфейс без подписи

синтетика, скриншот со стрелкой

25

25

0.600 [0.400, 0.800]

0.960 [0.880, 1.000]

1.000 [1.000, 1.000]

Вывод по главе «Схемы и интерфейсы». Это только синтетика, поэтому она показывает механизм. Схемы с подписями на блоках находят все три модели, на плотных схемах pplx впереди, без подписей результат низкий у всех. Скриншоты WeMM и pplx находят безошибочно на 25 страницах, EmbeddingGemma-2 заметно хуже.


Ответ на нескольких страницах: одну страницу находят чаще, чем все

Оценка по одной странице скрывает, что вопросу нужно несколько. Чтобы это измерить, я взял ViDoRe V3, где размечены все нужные страницы, и оставил 203 вопроса с двумя и больше нужными страницами (оценка 1 или 2). Вопросы разбиты по числу нужных страниц. Для каждого считаем, сколько нужных страниц попало в первые 5, 10 и 20 результатов: «топ-10: 1 из 2» значит, что среди первых десяти результатов одна из двух нужных.

Нужно 2 страницы (вопросов: 46). В ячейке доля вопросов, у которых в окне нашлось столько нужных страниц.

Таблица с метриками

Модель, вход

топ-5

топ-10

топ-20

0 из 2

1 из 2

2 из 2

0 из 2

1 из 2

2 из 2

0 из 2

1 из 2

2 из 2

WeMM, картинки

0.39

0.26

0.35

0.26

0.33

0.41

0.17

0.30

0.52

WeMM, текст

0.30

0.39

0.30

0.17

0.41

0.41

0.11

0.33

0.57

WeMM, RRF

0.33

0.35

0.33

0.22

0.41

0.37

0.15

0.28

0.57

pplx, картинки

0.30

0.26

0.43

0.20

0.24

0.57

0.15

0.17

0.67

pplx, текст

0.30

0.28

0.41

0.22

0.26

0.52

0.13

0.13

0.74

pplx, RRF

0.30

0.26

0.43

0.20

0.26

0.54

0.13

0.15

0.72

EmbeddingGemma-2, картинки

0.46

0.26

0.28

0.35

0.35

0.30

0.24

0.33

0.43

EmbeddingGemma-2, текст

0.39

0.39

0.22

0.24

0.37

0.39

0.15

0.28

0.57

EmbeddingGemma-2, RRF

0.41

0.33

0.26

0.26

0.35

0.39

0.22

0.28

0.50

Нужно 3 страницы (вопросов: 26). В ячейке доля вопросов, у которых в окне нашлось столько нужных страниц.

Таблица с метриками

Модель, вход

топ-5

топ-10

топ-20

0 из 3

1 из 3

2 из 3

3 из 3

0 из 3

1 из 3

2 из 3

3 из 3

0 из 3

1 из 3

2 из 3

3 из 3

WeMM, картинки

0.31

0.35

0.19

0.15

0.12

0.38

0.31

0.19

0.08

0.15

0.50

0.27

WeMM, текст

0.31

0.38

0.23

0.08

0.15

0.42

0.23

0.19

0.08

0.35

0.35

0.23

WeMM, RRF

0.19

0.42

0.27

0.12

0.12

0.42

0.27

0.19

0.08

0.12

0.54

0.27

pplx, картинки

0.12

0.27

0.27

0.35

0.08

0.15

0.38

0.38

0.04

0.12

0.42

0.42

pplx, текст

0.08

0.31

0.23

0.38

0.08

0.19

0.31

0.42

0.04

0.12

0.38

0.46

pplx, RRF

0.08

0.27

0.27

0.38

0.08

0.15

0.35

0.42

0.04

0.15

0.38

0.42

EmbeddingGemma-2, картинки

0.31

0.38

0.23

0.08

0.19

0.42

0.27

0.12

0.15

0.31

0.31

0.23

EmbeddingGemma-2, текст

0.23

0.42

0.27

0.08

0.23

0.31

0.35

0.12

0.12

0.35

0.23

0.31

EmbeddingGemma-2, RRF

0.31

0.42

0.19

0.08

0.15

0.38

0.31

0.15

0.08

0.31

0.27

0.35

Нужно 4 страницы (вопросов: 18). В ячейке доля вопросов, у которых в окне нашлось указанное число нужных страниц.

Таблица с метриками

Модель, вход

топ-5

топ-10

топ-20

0 из 4

1–2 из 4

3–4 из 4

0 из 4

1–2 из 4

3–4 из 4

0 из 4

1–2 из 4

3–4 из 4

WeMM, картинки

0.44

0.28

0.28

0.28

0.39

0.33

0.28

0.39

0.33

WeMM, текст

0.44

0.39

0.17

0.34

0.33

0.33

0.22

0.39

0.39

WeMM, RRF

0.33

0.50

0.17

0.28

0.39

0.33

0.28

0.28

0.44

pplx, картинки

0.22

0.39

0.39

0.22

0.33

0.45

0.22

0.28

0.50

pplx, текст

0.22

0.45

0.33

0.22

0.28

0.50

0.17

0.33

0.50

pplx, RRF

0.22

0.39

0.39

0.22

0.28

0.50

0.17

0.33

0.50

EmbeddingGemma-2, картинки

0.39

0.50

0.11

0.33

0.50

0.17

0.33

0.39

0.28

EmbeddingGemma-2, текст

0.44

0.50

0.06

0.28

0.55

0.17

0.22

0.39

0.39

EmbeddingGemma-2, RRF

0.39

0.56

0.05

0.33

0.39

0.28

0.22

0.45

0.33

Нужно 5 страницы (вопросов: 16). В ячейке доля вопросов, у которых в окне нашлось указанное число нужных страниц.

Таблица с метриками

Модель, вход

топ-5

топ-10

топ-20

0 из 5

1–2 из 5

3–5 из 5

0 из 5

1–2 из 5

3–5 из 5

0 из 5

1–2 из 5

3–5 из 5

WeMM, картинки

0.38

0.56

0.06

0.31

0.44

0.25

0.19

0.44

0.37

WeMM, текст

0.37

0.44

0.19

0.31

0.44

0.25

0.25

0.31

0.44

WeMM, RRF

0.38

0.50

0.12

0.37

0.44

0.19

0.19

0.25

0.56

pplx, картинки

0.25

0.56

0.19

0.13

0.50

0.37

0.12

0.19

0.69

pplx, текст

0.25

0.56

0.19

0.19

0.44

0.37

0.13

0.25

0.62

pplx, RRF

0.19

0.62

0.19

0.13

0.50

0.37

0.13

0.25

0.62

EmbeddingGemma-2, картинки

0.38

0.56

0.06

0.25

0.50

0.25

0.13

0.37

0.50

EmbeddingGemma-2, текст

0.38

0.50

0.12

0.31

0.44

0.25

0.25

0.38

0.37

EmbeddingGemma-2, RRF

0.31

0.50

0.19

0.25

0.44

0.31

0.19

0.31

0.50

Нужно 6 и больше страниц (вопросов: 97). В ячейке доля вопросов, у которых в окне нашлось указанное число нужных страниц.

Таблица с метриками

Модель, вход

топ-5

топ-10

топ-20

0

1–2

3–5

6 >=

0

1–2

3–5

6 >=

0

1–2

3–5

6 >=

WeMM, картинки

0.30

0.46

0.24

0.00

0.17

0.43

0.30

0.10

0.07

0.34

0.33

0.26

WeMM, текст

0.33

0.51

0.16

0.00

0.23

0.40

0.27

0.10

0.10

0.31

0.34

0.25

WeMM, RRF

0.31

0.48

0.21

0.00

0.19

0.38

0.33

0.10

0.07

0.29

0.36

0.28

pplx, картинки

0.29

0.44

0.27

0.00

0.21

0.33

0.36

0.10

0.12

0.28

0.34

0.26

pplx, текст

0.28

0.47

0.25

0.00

0.21

0.33

0.34

0.12

0.07

0.30

0.37

0.26

pplx, RRF

0.28

0.43

0.29

0.00

0.21

0.33

0.35

0.11

0.13

0.23

0.39

0.25

EmbeddingGemma-2, картинки

0.35

0.50

0.15

0.00

0.23

0.45

0.25

0.07

0.13

0.37

0.35

0.15

EmbeddingGemma-2, текст

0.31

0.49

0.20

0.00

0.19

0.49

0.23

0.09

0.05

0.39

0.36

0.20

EmbeddingGemma-2, RRF

0.29

0.53

0.18

0.00

0.20

0.41

0.32

0.07

0.08

0.35

0.39

0.18

Ошибки [19] по типам запросов

Разбор на всех 283 вопросах набора. В ячейке доля вопросов, у которых верная страница стоит на первом месте (EG2 это EmbeddingGemma-2). У вопроса может быть несколько типов, поэтому строки внутри разреза не складываются в 283.

Таблица с метриками

Разрез (вопросов)

WeMM карт.

WeMM текст

WeMM RRF

pplx карт.

pplx текст

pplx RRF

EG2 карт.

EG2 текст

EG2 RRF

тип: извлечение факта (125)

0.58

0.49

0.51

0.72

0.73

0.74

0.37

0.45

0.45

тип: число (29)

0.72

0.62

0.66

0.83

0.79

0.83

0.48

0.59

0.55

тип: да/нет (44)

0.57

0.57

0.57

0.70

0.73

0.75

0.39

0.52

0.48

тип: открытый вопрос (67)

0.30

0.30

0.25

0.27

0.25

0.24

0.22

0.24

0.21

тип: перечисление (55)

0.44

0.38

0.38

0.60

0.56

0.60

0.38

0.40

0.35

тип: сравнение (29)

0.52

0.48

0.45

0.59

0.59

0.59

0.31

0.38

0.34

тип: несколько шагов (28)

0.50

0.39

0.43

0.68

0.57

0.64

0.50

0.50

0.57

формат: вопрос (161)

0.50

0.46

0.47

0.65

0.65

0.66

0.34

0.42

0.42

формат: инструкция (84)

0.45

0.36

0.35

0.48

0.46

0.49

0.32

0.35

0.33

формат: ключевые слова (38)

0.55

0.50

0.53

0.58

0.53

0.53

0.39

0.45

0.42

автор: человек (177)

0.61

0.53

0.56

0.72

0.71

0.73

0.41

0.48

0.47

автор: синтетика (106)

0.29

0.28

0.25

0.38

0.37

0.37

0.23

0.27

0.27

страница: текст (273)

0.49

0.43

0.44

0.58

0.57

0.59

0.33

0.40

0.39

страница: таблица (88)

0.44

0.39

0.42

0.56

0.52

0.55

0.31

0.40

0.39

страница: инфографика (54)

0.50

0.50

0.46

0.50

0.56

0.50

0.30

0.37

0.33

страница: картинка (21)

0.38

0.24

0.29

0.33

0.38

0.33

0.19

0.33

0.24

Примеры вопросов по разрезам

Для каждой строки таблицы выше один типичный вопрос из набора. Вопросы английские, как в наборе, перевод мой. Один вопрос попадает сразу в несколько разрезов (например, он может быть и «извлечением факта», и «вопросом», и написанным человеком), поэтому примеры не исключают друг друга.

Таблица примеров вопросов по разрезам

Разрез

Пример вопроса (как в наборе)

Перевод

тип: извлечение факта

What is the maximum refueling pressure allowed for the AV-8 aircraft during hot refueling operations?

Какое максимальное давление заправки допускается для самолёта AV-8 при горячей заправке?

тип: число

How many internal fuel tanks are located in the center wing of the S-3 aircraft?

Сколько внутренних топливных баков в центральной части крыла самолёта S-3?

тип: да/нет

Are points of awls required to be kept covered when not in use, according to the USAF technical manuals and orders?

Нужно ли держать острия шил закрытыми, когда ими не пользуются, согласно техническим руководствам и приказам ВВС США?

тип: открытый вопрос

Explain how the manual addresses safety risks associated with refueling military aircraft while their engines remain operational.

Объясните, как руководство описывает риски безопасности при заправке военных самолётов с работающими двигателями.

тип: перечисление

What two standards regulate insulating matting requirements for high-voltage zones in military aviation contexts?

Какие два стандарта регулируют требования к изолирующим коврикам в зонах высокого напряжения в военной авиации?

тип: сравнение

What is the difference between emergency shutdown and post-shutdown procedures as per the AFTF technical manual?

В чём разница между аварийной остановкой и процедурами после остановки по техническому руководству AFTF?

тип: несколько шагов

Explain the functions of Corrosion Prevention Compounds and identify the five types of authorized cleaning compounds of MIL-PRF-85570.

Объясните функции противокоррозионных составов и назовите пять типов разрешённых чистящих составов по MIL-PRF-85570.

формат: вопрос

How far away should the dry heat source be from the wire or wire group for the shrinking of polyethylene tubing?

На каком расстоянии от провода или жгута должен находиться источник сухого тепла при усадке полиэтиленовой трубки?

формат: инструкция

State the maximum water pressure (PSI) allowed for manual rinsing in Clear Water Rinsing of Aircraft per the TO 1-1-691 Manual.

Укажите максимальное давление воды (PSI) при ручном ополаскивании самолёта чистой водой по руководству TO 1-1-691.

формат: ключевые слова

exact voltage rating insulating mats aircraft maintenance manual

точное напряжение изолирующие коврики руководство по обслуживанию самолёта

автор: человек

What height, in inches, do the letters and numbers used for vehicle components & warnings range from?

В каких пределах (в дюймах) находится высота букв и цифр для обозначения компонентов и предупреждений на транспорте?

автор: синтетика

How do maintenance documentation requirements support both safety compliance and operational efficiency in technical operations?

Как требования к документации по обслуживанию поддерживают и соблюдение безопасности, и эффективность технических операций?

страница: текст

Does the EF/F-18 operate with both engines running during hot refueling, as specified in USAF technical manuals?

Работает ли EF/F-18 с обоими двигателями при горячей заправке, как указано в технических руководствах ВВС США?

страница: таблица

What type of corrosion remover is not suitable for aluminum or magnesium, according to USAF technical manuals?

Какой тип средства для удаления коррозии нельзя использовать на алюминии и магнии согласно руководствам ВВС США?

страница: инфографика

Where is the 25mm gun safety pin stored when not in use per the Summary of USAF Technical Manual Sections?

Где хранится предохранительная чека 25-мм пушки, когда ею не пользуются, согласно сводке разделов технических руководств ВВС США?

страница: картинка

Do USAF’s airfield vehicles require silver or black reflective tape outlining their dimensions?

Нужна ли на аэродромных машинах ВВС США серебристая или чёрная светоотражающая лента по контуру габаритов?

Результат сильнее всего зависит от происхождения вопроса: на вопросах людей точность составляет 41–73%, на синтетических 23–38%. pplx лучше справляется с числовыми вопросами (0.79–0.83 против 0.62–0.72 у WeMM), но на открытых вопросах преимущество исчезает. Картинки также остаются сложным типом страниц, хотя выборка мала (21 вопрос).

Размер отдельных групп не позволяет уверенно судить о небольших различиях между моделями: доверительные интервалы для этого среза не рассчитывались.

Вывод по главе «Несколько верных страниц». Оценка по одной странице переоценивает качество поиска: если вопрос требует нескольких страниц, найти их все значительно сложнее.

pplx показывает лучшие результаты. Когда нужны две страницы, обе попадают в топ-20 в 67–74% случаев против 52–57% у WeMM и 43–57% у EmbeddingGemma-2. Для трёх страниц pplx находит все нужные в топ-20 в 42–46% случаев.

Объединение текстового и визуального поиска не даёт стабильного выигрыша. RRF не улучшает результаты pplx и WeMM относительно поиска по картинкам. У EmbeddingGemma-2 объединение полезнее, поскольку текстовый поиск у неё сильнее визуального.

Результаты требуют осторожной интерпретации. В группах с двумя-пятью нужными страницами всего 16–46 вопросов. Доверительные интервалы для этих сравнений не рассчитаны, поэтому небольшие различия нельзя считать подтверждёнными.


Железо и индекс: сколько времени, памяти и места занимает вектор

Число токенов страницы зависит от размера картинки, а от токенов зависят время и размер индекса. WeMM тратит один токен на 1 037 пикселей, pplx то же до 1.8 Мп и дальше сам сжимает до 1 715 токенов. У EmbeddingGemma-2 число токенов задаёт бюджет (70–1120, по умолчанию 280, фактически около 266), а размер картинки на него не влияет.

Страница A4

WeMM-2B

pplx-embed-late

EmbeddingGemma-2 (бюджет 280)

150 dpi (2.2 Мп)

2 145 токенов

1 715

266

300 dpi (8.7 Мп)

8 580

1 715

266

600 dpi (34.8 Мп)

16 264

1 715

266

На 600 dpi у WeMM срабатывает потолок её процессора, 16.7 Мп: выше этого страница сжимается, и токенов становится меньше, чем по правилу 1 037 пикселей.

Замер на RTX 3060 Ti (8 ГБ), DocVQA, одиночные вызовы:

EmbeddingGemma-2

WeMM-2B

pplx-embed-late

Страница, мс (медиана)

203

1 133

890

Запрос, мс

74.7

75.6

34.2

pplx хранит отдельный вектор для каждого токена, поэтому его индекс значительно больше. На 300 страницах поиск в Qdrant занимает 41,8 мс против 10,2 мс у EmbeddingGemma-2 и 11,5 мс у WeMM-2B.
Загрузка индекса pplx также заметно медленнее: 72,9 с против 0,6 с у WeMM-2B.

Во сколько это обойдётся

Стоимость индексации оценил по времени обработки одной страницы на RTX 3060 Ti и цене аренды 37,9 ₽/ч. Расчёт приведён для 100 тысяч и 1 миллиона страниц. Это оценка без батчинга: при пакетной обработке стоимость может быть ниже.

От картинки к релевантной странице: исследование мультимодальных эмбеддингов - 43

Размер индекса определяет расходы на хранение. Для pplx я оценивал его как число токенов × 128 × 4 байта, без служебных данных Qdrant. Для страницы размером около 2 Мп получается примерно 859 КиБ, а для изображения с 428 токенами, около 214 КиБ. Поэтому оценка для миллиона страниц зависит от разрешения: около 820 ГиБ для крупных страниц и 204 ГиБ для небольших.

От картинки к релевантной странице: исследование мультимодальных эмбеддингов - 44

Что выбрать

Результаты зависят от типа данных, сложности запроса и доступных ресурсов. Ниже я свел результаты экспериментов в практические рекомендации по выбору эмбеддера.

Если у вас

Берите

Почему

сканы и таблицы, нужна точность на первом месте

pplx

DocVQA 0.678 против 0.605 у WeMM, TAT-DQA 0.650 против 0.578; почти не боится плохого скана. Минус: индекс около 859 КиБ на страницу (≈250 МБ250 МиБ на 300 страниц, ≈860 ГБ820 ГиБ на миллион)

графики, найти нужную страницу по общему виду

WeMM-2B

ChartQA 0.691 против 0.611 у pplx и 0.514 у EmbeddingGemma-2; PlotQA 0.840 против 0.754 у pplx

графики, вопрос про конкретную страну и год

pplx

на моих 100 графиках ВВП pplx 0.824, WeMM 0.397 (глава про графики); набор синтетический, проверьте на своих

мало GPU и важна скорость

EmbeddingGemma-2

1.9 ГБ, 203 мс на страницу, индекс 3 КиБ; в точности уступает на реальных наборах, но проверьте бюджет 560–1120: на некоторых наборах он помогает

ответ на вопрос лежит на нескольких страницах

pplx

ViDoRe V3, 203 вопроса с двумя и больше нужными страницами: nDCG@10 на картинках 0.466 у pplx против 0.383 у WeMM и 0.311 у EmbeddingGemma-2, разница подтверждена интервалами. Все нужные страницы вместе находят редко при любом входе, слияние картинок и текста (RRF) не помогает

Если не знаете, с чего начать, попробуйте pplx: он показывает лучшие результаты на сканах и таблицах, но требует значительно больше места для индекса. Для поиска по общему виду графиков лучше подходит WeMM-2B, а при ограниченных ресурсах стоит рассмотреть EmbeddingGemma-2. Старшие версии WeMM-4B и 9B я не тестировал, на моей RTX 3060 Ti с 8 ГБ они не помещаются.

Вместо заключения: всё зависит от задачи

Универсального победителя нет: результат зависит от задачи, качества исходных страниц и формулировки запроса. Поэтому настройки вроде ограничения изображения до 1 Мп, размера пула и бюджета токенов стоит проверять на собственных данных.

У исследования есть ограничения. Часть данных синтетическая, а публичные наборы могли попасть в обучение [20] моделей. Текстовый путь проверялся по готовым описаниям страниц, без отдельного измерения качества OCR. Скорость замерялась на RTX 3060 Ti при одиночных вызовах, без батчинга. На русском наборе из 10 страниц результаты позволяют судить лишь об общих тенденциях.

Автор: Alt_Tab

Источник [21]


Сайт-источник BrainTools: https://www.braintools.ru

Путь до страницы источника: https://www.braintools.ru/article/38680

URLs in this post:

[1] память: http://www.braintools.ru/article/4140

[2] HunyuanOCR на документах: https://habr.com/ru/companies/raft/articles/1031684/

[3] Что проверяем: #What_we_are_checking

[4] Эмбеддеры для тестирования: #Embedders_for_testing

[5] Все метрики одной таблицей: #All_metrics_in_a_single_table

[6] Наборы данных: #Datasets

[7] Сканы и текст: основной случай для поиска по документам: #Scans_and_text

[8] Сканы: #Scans

[9] Сжатие картинки: #Image_compression

[10] Размытый вопрос без названия документа: #Vague_question

[11] Таблицы: #Tables

[12] Графики: #Charts

[13] Инфографика и слайды: #Infographics_and_slides

[14] Схемы и интерфейсы: #Schemes

[15] Ответ на нескольких страницах: #response_spanning

[16] Железо, индекс и стоимость: #Hardware

[17] Что выбрать: #Choose

[18] Итог: #Conclusion

[19] Ошибки: http://www.braintools.ru/article/4192

[20] обучение: http://www.braintools.ru/article/5125

[21] Источник: https://habr.com/ru/companies/raft/articles/1108640/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1108640

www.BrainTools.ru

Rambler's Top100