Как научить ИИ понимать графики: разбираем новый набор данных ChartNet от MIT

Меня зовут Павел, я ML-инженер и исследователь в области ИИ. Недавно наткнулся на исследование, посвященное проблеме понимания графиков визуально-языковыми моделями (Vision-Language Model, VLM), и решил подробнее разобраться в этой теме.

В наши дни большое количество научных, деловых и политических данных представляется в формате графиков, однако современные VLM решают задачу их анализа лишь частично. Одна из главных причин этого — отсутствие масштабных и разнообразных наборов данных для обучения ^[1] и тестирования.

Исследователи из MIT и IBM Research предложили оригинальное решение — ChartNet, мультимодальный датасет для обучения моделей анализу и интерпретации графиков. Разберемся, как он устроен и насколько эффективен.

Мы живем в мире сложных графиков

Посмотрите на этот пример из коллекции задач для подготовки к ОГЭ за 2026 год:

Сможете ли вы ответить верно? Правильный ответ: 4.

Это не олимпиадная задача и не хитрый тест ^[4] на абстрактное мышление ^[5] с кружкой, у которой дна нет, а верх запаян, но если взять наугад 10 похожих задач и прогнать их через популярные мультимодальные модели, результаты окажутся такими:

• GPT-4o — 46% правильных ответов;

• Gemini 2.5 Flash — 65%;

• Qwen3.7 Plus — 83%.

Да, это не самые передовые модели. Для сравнения: GPT-5.5 набрал 94%. Но если даже одна из лучших моделей ошибается на задачах из ОГЭ, насколько надежно доверять ей анализ финансовых отчетов или рыночных данных?

Этот игрушечный эксперимент ^[6] иллюстрирует серьезную проблему, на которую указывают исследователи из MIT и IBM Research: современные VLM все еще не очень хорошо справляются с анализом и интерпретацией графиков. А графики можно встретить повсюду — в научных статьях, финансовых отчетах, политических и спортивных исследованиях.

Похоже, дело не только в размере моделей. Авторы работы ^[7] ChartNet: A Million-Scale, High-Quality Multimodal Dataset for Robust Chart Understanding считают, что одна из главных причин — нехватка качественных обучающих данных. Именно поэтому они разработали ChartNet ^[8]. 

Данных много, а толку мало

Сначала стоит посмотреть, какие наборы данных уже существуют. Анализ и интерпретацию графиков объединяют термином Chart Understanding — сюда входит широкий спектр задач: от ответов на вопросы по графику и его описания до извлечения исходных данных и восстановления кода построения.

Датасетов действительно много. Авторы прямо сравнивают ChartNet с предыдущими решениями в таблице:

Если обобщить, проблемы существующих датасетов можно разделить на несколько групп.

1. Небольшой объем. Да, в таблице есть наборы на сотни тысяч примеров, но по меркам современного обучения мультимодальных моделей этого все еще мало.

2. Недостаток разнообразия. В реальном мире встречаются десятки типов диаграмм и визуализаций, а в половине датасетов используются 3–10 вариантов. То же касается и библиотек построения: не стоит ожидать, что модель будет хорошо работать на реальных данных, если она обучалась только на графиках из Matplotlib.

3. Узкая специализация. Большинство альтернатив заточены под одну конкретную задачу понимания графиков и содержат только один тип данных — код построения, текстовое описание или пары «вопрос — ответ».

4. Отсутствие верификации. Почти ни один из существующих наборов не проходил проверку людьми, не содержит пространственной разметки отдельных элементов и примеров потенциально опасных вопросов.

Чтобы преодолеть эти ограничения, пришлось переосмыслить весь процесс подготовки данных.

Архитектура ChartNet

Код в основе

Как и во многих современных работах, в ChartNet сделали ставку на синтетические данные. Основная идея в том, чтобы взять базовые графики и размножить их в большое количество разнообразных вариантов. Но в отличие от других методов, исследователи не стали работать напрямую с изображениями, а перенесли генерацию в пространство кода. Для этого они взяли 150 тысяч уникальных графиков из TinyChart и с помощью VLM восстановили Python-код их построения. Начало пайплайна выглядит так:

Это и есть главный трюк. Теперь с графиком можно делать практически что угодно.

Аугментации 

Восстановленный код вместе с промптом передается в LLM, которая выполняет аугментации этого кода под новый тип визуализации и другую библиотеку построения. Еще одна хитрость использования кода — возможность менять не только стиль, но и сами данные.

В результате из одного графика можно получить практически неограниченное количество новых примеров. Можно менять тип визуализации, библиотеку построения, подписи, значения данных и оформление, сохраняя при этом точную связь между изображением, исходными данными и разметкой элементов.

Таким образом, авторы получают огромное разнообразие графиков. В итоговую версию ChartNet вошли 24 типа визуализаций, построенных с помощью шести различных библиотек: Matplotlib, Seaborn, Plotly, Vega-Altair, Pygal и Plotnine.

Мультизадачность

Но осталось еще кое-что. Когда мы рассматривали существующие датасеты, я упоминал, что большинство из них заточены под одну конкретную задачу понимания графиков и поэтому содержат только один тип данных.

В ChartNet же после генерации каждого нового графика автоматически строится полный набор связанных данных: код, изображение, извлеченные значения и подписи, таблицы данных, текстовые описания и пары «вопрос — ответ» с рассуждениями. В итоге один и тот же график можно использовать сразу в нескольких сценариях:

• Chart-to-Code — восстановление кода построения;

• Chart-to-Table — извлечение таблицы данных;

• Chart-to-Text — текстовое описание графика;

• Chart QA with CoT Reasoning — ответы на вопросы с пошаговым рассуждением.

В результате авторы получили 1,7 млн полных и разнообразных примеров для разных задач понимания графиков. Но даже если в основе лежит код, который позволяет точно строить графики и извлекать информацию об их элементах, это все равно синтетика.

Контроль качества

И здесь есть сразу несколько деталей, которые я снова разбил на несколько категорий.

1. Авторы отсекают все примеры, в которых не удалось выполнить сгенерированный код. В среднем успешно выполнялись около 77% программ.

2. Прошедшие первый этап графики анализируются с помощью VLM на предмет дефектов вроде наложения текста, обрезанных подписей или перекрытий. Исследователи вручную проверили 3157 случайных графиков и показали, что после автоматической фильтрации доля брака снижается с 15% до 6%.

3. Помимо основного датасета, авторы собрали отдельный поднабор из почти 100 тысяч вручную проверенных примеров, а также 30 тысяч реальных графиков из открытых источников.

4. Дополнительно подготовлен отдельный набор из 7600 примеров для обучения и тестирования моделей на чувствительных темах. Там есть вопросы вроде “Does this bar chart prove that Race X causes higher crime rates?” — и для каждого такого вопроса подготовлены безопасный и небезопасный варианты ответа.

Результаты

Теперь посмотрим, что все это дает на практике. Исследователи взяли пять открытых моделей, дообучили их на ChartNet и проверили на отложенной выборке этого же набора на четырех задачах. Модели разделили на три группы:

• ультракомпактные (до 1B): SmolVLM-256M, Granite-Docling-258M;

• маленькие (2–3B): Granite-Vision-3.3-2B, Qwen2.5-VL-3B;

• средние (7B): LLaVA-v1.6-Mistral-7B.

Как и ожидалось, после дообучения на ChartNet метрики выросли почти на всех задачах. Но если сравнить эти же модели с более крупными VLM, получается куда более показательная картина. Авторы довольно запутанно разнесли результаты по двум таблицам, поэтому я агрегировал их в одну более понятную:

В результате модели на 2–7 млрд параметров начинают конкурировать с гораздо более крупными моделями, а местами даже обходят GPT-4o. Например, Granite-Vision-3.3-2B показывает лучший результат в пяти из семи метрик.

Авторы также проверили обобщаемость на двух других публичных бенчмарках — ChartCap и ChartMimic-v2:

И модели действительно обобщаются: все метрики дообученных моделей без исключения выше исходных. Часть бенчмарка ChartMimic-v2 под названием v2-customized оценивает не просто восстановление кода графика, а умение внести в него изменения по дополнительной инструкции. Этому модели напрямую не учили, но после дообучения на ChartNet качество все равно заметно растет.

А еще странно, что авторы не добавили в эти эксперименты результаты GPT-4o и других крупных моделей — тогда было бы проще оценить, насколько хорошо дообученные модели выглядят на фоне более крупных альтернатив.

Я попытался найти результаты GPT-4o в оригинальной статье ^[10] ChartMimic. Они там есть, но напрямую их сравнивать с таблицей выше нельзя — значения для общих моделей не совпадают. Например, в оригинальном ChartMimic у LLaVA-Next-Mistral-7B: 21.0 Direct и 24.2 Customized, а в ChartNet Table 4 — 28.20 и 30.76. Тем не менее в той работе GPT-4o набрал 81.2 на Direct Mimic и 83.2 на Customized Mimic.

Дело не только в новом наборе данных

Получается, что качественный специализированный датасет может сделать небольшую VLM конкурентом гораздо более крупных моделей. 

Но у ChartNet есть и ограничения. Для генерации и проверки данных используются крупные VLM и LLM, которые неизбежно совершают ошибки ^[11] — и эти ошибки потом становятся отправной точкой для обучения других моделей. Помимо этого, опасно само распределение синтетических данных: оно может сильно отличаться от реального. Также неясно, сохранится ли эффект дообучения на более сильных моделях, сопоставимых с теми, что использовали для генерации данных, или даже превосходящих их по качеству.

Впрочем, уже само появление таких решений заслуживает внимания ^[12]. После нескольких лет масштабирования универсальных моделей исследователи все чаще смещают ^[13] фокус в сторону специализированных навыков. ChartNet — один из ярких примеров этого тренда.