MIT и IBM собрали 1,7 млн графиков в датасет ChartNet: распознавание графиков ИИ дотянут до практики

Контекст такой. Данных для обучения нейросетей анализу диаграмм формально много, но существующие наборы страдают от одних и тех же болезней: мало примеров, мало типов визуализаций, узкая специализация под одну задачу и почти полное отсутствие проверки людьми. Об этом пишет ML-инженер Павел в разборе исследования «ChartNet: A Million-Scale, High-Quality Multimodal Dataset for Robust Chart Understanding» на Хабре.

Насколько плохо модели читают графики сегодня?

Павел проверил несколько мультимодальных моделей (мультимодальный означает, что модель работает сразу с несколькими типами информации: текстом, изображениями, звуком) на десяти задачах из коллекции для подготовки к ОГЭ за 2026 год. Задачи не олимпиадные, обычный школьный уровень.

Результаты распознавания графиков:

• GPT-4o дал 46% правильных ответов
• Gemini 2.5 Flash дал 65%
• Qwen3.7 Plus дал 83%
• GPT-5.5 дал 94%

Даже GPT-5.5, одна из самых продвинутых моделей на момент теста, ошиблась в каждом шестнадцатом ответе. На школьном графике. Вопрос, который задаёт автор, звучит прямо: если модель спотыкается на ОГЭ, можно ли ей поручить разбор рыночных данных или годового отчёта?

Почему нейросети ошибаются на простых диаграммах?

Авторы исследования из MIT и IBM Research указывают на нехватку качественных обучающих данных, а не только на размер моделей.

Существующие датасеты (наборы данных для обучения) имеют четыре системные проблемы:

• Маленький объём. Даже наборы на сотни тысяч примеров недостаточны для обучения мультимодальных моделей.
• Бедное разнообразие. В реальном мире десятки типов диаграмм, а в половине датасетов используются от 3 до 10 вариантов. Библиотеки построения графиков тоже однообразны: модель, обученная только на Matplotlib, плохо работает с графиками из других инструментов.
• Узкая специализация. Большинство наборов заточены под одну задачу и содержат только один тип данных: или код, или описание, или пары «вопрос и ответ».
• Отсутствие проверки людьми. Почти ни один набор не проходил человеческую верификацию и не содержит пространственной разметки элементов.

Как устроен ChartNet?

Исследователи взяли 150 тысяч уникальных графиков из набора TinyChart и с помощью VLM восстановили Python-код их построения. Это ключевой приём: работа переносится из пространства изображений в пространство кода.

Дальше восстановленный код вместе с промптом (промпт, текстовая инструкция для нейросети) передаётся в языковую модель. Та выполняет аугментации (модификации): меняет тип визуализации, библиотеку построения, подписи, значения данных и оформление. Из одного графика получается практически неограниченное количество новых примеров.

В итоговую версию ChartNet вошли:

• 24 типа визуализаций
• 6 библиотек построения: Matplotlib, Seaborn, Plotly, Vega-Altair, Pygal, Plotnine
• 1,7 млн полных примеров

Каждый пример содержит не один тип данных, а сразу несколько:

• Chart-to-Code (восстановление кода построения)
• Chart-to-Table (извлечение таблицы данных)
• Chart-to-Text (текстовое описание графика)
• Chart QA with CoT Reasoning (ответы на вопросы с пошаговым рассуждением)

Авторы также отсекают все примеры, в которых сгенерированный код не удалось выполнить, что повышает качество финального набора.

Что понадобится

Если вы хотите проверить распознавание графиков нейросетями самостоятельно:

• Доступ к мультимодальной модели: ChatGPT (GPT-4o или выше), Gemini, Claude с возможностью загрузки изображений
• Изображение графика или диаграммы в формате PNG или JPG
• 10 минут на подготовку промпта и проверку ответа
• Для продвинутого сценария: Python, Jupyter Notebook и библиотека Matplotlib для генерации тестовых графиков

Пошаговая инструкция

1. Подготовьте график. Сделайте скриншот диаграммы из отчёта, презентации или статьи. Убедитесь, что подписи осей и легенда читаемы.

2. Загрузите изображение в модель. Откройте ChatGPT, Gemini или Claude и прикрепите файл.

3. Задайте конкретный промпт. Не спрашивайте «Что на графике?», а ставьте точную задачу:

Посмотри на этот столбчатый график.

1. Извлеки все числовые значения в виде таблицы.
2. Назови максимальное и минимальное значение.
3. Опиши тренд одним предложением.

1. Проверьте ответ вручную. Сравните извлечённые числа с оригиналом. Особое внимание на значения, которые визуально близки (например, столбцы почти одинаковой высоты).

2. Попробуйте усложнить задачу. Дайте тот же график другой модели или попросите восстановить код построения:

Напиши Python-код на Matplotlib, который воспроизведёт этот график максимально точно.

1. Сравните результаты двух-трёх моделей. Расхождения покажут, где именно модели ошибаются при распознавании графиков.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Если вы иллюстрируете статьи графиками и хотите добавить текстовое описание для доступности, нейросеть справится с простыми столбчатыми и линейными диаграммами. Но проверяйте каждое число вручную, прежде чем публиковать.

Маркетологу. Автоматический разбор конкурентных отчётов и дашбордов экономит время, но пока ненадёжен для финальных выводов. Используйте нейросеть как первый фильтр, а не как источник цифр для презентации клиенту.

Предпринимателю в РФ. Из доступных в России мультимодальных моделей можно использовать YandexGPT (через Алису) и GigaChat от Сбера, оба поддерживают загрузку изображений. Для задач распознавания графиков из госстатистики и бухгалтерской отчётности пока безопаснее извлекать данные вручную или через специализированные OCR-сервисы.

Результаты теста на задачах ОГЭ дают конкретный ориентир: если вам нужна точность выше 95% при анализе диаграммы, ни одна из проверенных моделей пока её не гарантирует. Используйте нейросеть как ассистента, который делает черновую работу, но финальное число пусть подтвердит человек.