Как мониторинг данных помогает руководству оценить результаты

Команда Freepik раскрыла, как устроен конвейер данных для обучения их генеративной модели изображений PRX на 7 миллиардов параметров, и главный вывод для практиков прост: длинные описания изображений вместо коротких подписей кардинально улучшают качество генерации.

Четвёртая часть серии PRX от Freepik описывает стратегию данных, которую компания применила при обучении модели генерации изображений на 7 миллиардов параметров. Документ опубликован в блоге Freepik и детально разбирает каждый этап: от сборки корпуса до формата хранения. По сути, такая стратегия как мониторинг дает руководству возможность оценить персонал и процессы, а здесь аналогичный подход применён к данным: прозрачный конвейер позволяет команде отслеживать качество на каждом шаге.

Что понадобится

• Набор публичных и собственных датасетов с изображениями
• VLM (vision-language model, модель, которая «видит» картинку и описывает её текстом), например Qwen3-VL, для переописания изображений
• Инструмент для хранения и работы с большими датасетами: Lance (колоночный формат с поиском и фильтрацией) для сборки и курирования
• Mosaic Streaming и формат MDS для потоковой подачи данных в обучение
• Кластер с GPU и общей файловой системой на SSD (команда Freepik использовала SLURM-кластер)
• Время: по данным Freepik, полный цикл обучения PRX занял около 30 дней, дополнительные расходы на вычисление текстовых представлений «на лету» составили примерно 3-4% пропускной способности (около одного дополнительного дня)

Пошаговая инструкция

1. Соберите разнообразный корпус, а не идеальный. Freepik сознательно отказалась от жёсткой фильтрации по эстетике на этапе предобучения. Цель этого этапа: научить модель тому, как выглядит мир, какие бывают объекты, сцены, композиции и условия освещения. Чрезмерная фильтрация сужает распределение данных, и модель теряет разнообразие, которое потом не восстановить. «Полировку» оставляют на дообучение (fine-tuning, обучение модели на ваших примерах под узкую задачу) и выравнивание по предпочтениям на маленьких, тщательно отобранных наборах.

2. Используйте уже отфильтрованные источники. Если датасет уже прошёл дедупликацию, очистку от нежелательного контента и персональных данных, опирайтесь на эту работу, а не повторяйте её с нуля. Freepik прямо указывает: прагматичный подход (собрать из существующего, а не строить с чистого листа) дал «крепкую и лёгкую отправную точку».

3. Замените короткие подписи длинными описаниями. Это центральный инсайт публикации. Переопишите каждое изображение с помощью VLM так, чтобы описание точно передавало всё, что на картинке: объекты, текст, логотипы, элементы интерфейса. Freepik показала в части 2 серии, что переход с коротких подписей на длинные «существенно улучшил качество генерации».

Почему это работает: точное описание превращает «шум» в управляемый атрибут. Скриншот, рекламный баннер или логотип перестают быть мусором, потому что модель учится генерировать их только по запросу, а не воспроизводить случайно.

1. Фильтруйте минимально и осознанно. Удаляйте только то, что действительно непригодно, а не всё «неидеальное». Freepik формулирует так: «Мы убираем по-настоящему непригодное, а не всё несовершенное».

2. Кодируйте изображения в JPEG quality 92, а не в PNG. Freepik замерила: первый пережим в JPEG quality 92 практически незаметен для восприятия (high PSNR, low LPIPS). Даже после 10 циклов пережатия изображения остаются в пределах незаметных отличий, при этом PNG был бы в 3-10 раз тяжелее без ощутимого выигрыша в качестве. Реальные фотографии, как правило, уже пережаты в JPEG, так что лишний цикл ничего не портит.

3. Вычисляйте текстовые представления «на лету», а не заранее. Freepik перешла с текстового энкодера T5Gemma на Qwen3-VL и отказалась от предвычисления текстовых латентов (latents, внутренние представления текста, которые модель использует при генерации). Потеря пропускной способности на модели с 7 миллиардами параметров составила всего 3-4%. Взамен команда получила два преимущества:

4. MDS-шарды стали достаточно компактными, чтобы хранить весь датасет на SSD кластера, без потоковой передачи по сети

5. Свобода сменить текстовый энкодер без перезаписи терабайтов сохранённых латентов

6. Разделите инструменты: Lance для сборки, MDS для обучения. Lance удобен для фильтрации, добавления колонок, векторного поиска и работы с датасетом в миллиарды строк. MDS жёсткий по структуре, но оптимален для потоковой раздачи данных при распределённом обучении. Добавить колонку или создать подвыборку в MDS означает полное пересканирование, поэтому вся «инженерия признаков» и курирование делается в Lance, а результат конвертируется в MDS для тренировки.

Что делать с этим прямо сейчас, по ролям

Авторам Дзена и контент-мейкерам. Если вы генерируете иллюстрации через Midjourney, Kandinsky или другие генеративные модели, пишите длинные промпты. Описание всего, что должно быть на картинке (и чего не должно), это не перфекционизм, а механика, подтверждённая экспериментами Freepik. Чем точнее текст, тем предсказуемее результат.

Тем, кто обучает свои модели на русском контенте. Главный инсайт для вас: Freepik использует длинные описания изображений вместо коротких подписей, и это кардинально меняет качество. Если вы собираете русскоязычный датасет, переопишите картинки развёрнуто через доступную VLM. Из инструментов, работающих с русским языком, стоит обратить внимание на мультимодальные (multimodal, способные работать одновременно с текстом и изображением) модели с поддержкой кириллицы.

Руководителям и предпринимателям. Такая стратегия как мониторинг дает руководству возможность оценить персонал и процессы подготовки данных, не вникая в каждый JPEG. Прозрачный конвейер (сборка, переописание, конвертация, обучение) позволяет видеть, на каком этапе теряется качество. Если ваша команда работает с генеративными моделями, потребуйте документирования каждого шага, как это сделала Freepik.