Google намеренно оставила ошибки в данных: зачем «грязные» датасеты машинного обучения работают лучше чистых

В чём суть спора?

Принято считать: чем точнее размечены обучающие данные (training data), тем лучше результат. Датасеты машинного обучения вычищают от ошибок, нанимают разметчиков, перепроверяют каждую метку. Логика простая: мусор на входе даёт мусор на выходе.

Но исследования и практика показывают обратное. Небольшой процент случайных ошибок в обучающих данных иногда улучшает качество модели на новых, незнакомых примерах. Это противоречит интуиции: как можно учиться лучше, если часть ответов неправильная?

Чтобы понять, откуда берётся этот эффект, нужно разобраться, как нейросеть вообще учится и чем её «учёба» отличается от человеческой.

Нейросеть не зубрит, она подстраивает числа

Представьте школьника, который решает тысячи задач по учебнику. Примерно в одном проценте случаев в учебнике напечатаны неправильные ответы. Интуитивно кажется, что результат будет хуже, чем при идеальном учебнике.

У нейросети есть параметры (это просто числа, которые определяют её поведение). Во время обучения модель получает пример, делает предсказание, сравнивает его с ответом из датасета и чуть-чуть меняет параметры, чтобы ошибка стала меньше. Потом берёт следующий пример. И так миллионы раз.

В результате параметры начинают отражать закономерности, которые повторяются во множестве примеров. Никто не говорит модели «смотри на уши кошки», но она сама находит признаки, помогающие отличить кошку от собаки.

Здесь возникает ключевое различие: запоминание отдельных примеров и обобщение (способность правильно работать с данными, которых модель раньше не видела). Нас интересует именно обобщение.

Почему единичная ошибка не убивает модель?

Допустим, в наборе из тысячи фотографий собак и кошек десять размечены неправильно. Если 500 фотографий говорят модели одно, ещё 490 подтверждают ту же закономерность, а десять ей противоречат, у модели достаточно «голосов», чтобы выучить общее правило и не подстраиваться под каждое исключение.

Вот пример ближе к российской реальности. Модель учится предсказывать цену квартиры по площади. Почти все данные показывают: больше площадь, выше цена. Одна странная запись «70 м², 3 млн рублей» не заставит модель решить, что большие квартиры дешевле маленьких. Устойчивая закономерность перевешивает единичный выброс.

Отдельный шумовой пример оказывается слабее паттерна, присутствующего в сотнях других записей.

Когда «грязь» действительно помогает?

Представим: в датасете почти все кошки сфотографированы дома, а собаки на улице. Модель находит лёгкий путь: комната означает «кошка», улица означает «собака». На обучающих данных это работает. Но покажите ей собаку на диване, и она ошибётся.

Это переобучение (overfitting): модель слишком сильно подстроилась под особенности конкретного набора и использует признаки, которые случайно оказались полезными именно в нём, но не работают в реальном мире.

Теперь добавим «шум»: в выборке появляются фотографии собак в квартирах и кошек на улице. Простое правило «фон равно ответ» ломается. Модели приходится искать другие признаки: форму ушей, пропорции тела, текстуру шерсти. Признаки, которые сохраняются в разных условиях.

Дополнительное разнообразие в данных иногда заставляет модель отказаться от случайной подсказки и искать устойчивую закономерность. Этот эффект достигается не только ошибками в ответах: его дают аугментации (изменения обучающих изображений, поворот, обрезка, добавление шума) и другие методы регуляризации (приёмы, которые не дают модели «зазубрить» тренировочный набор).

Случайный шум и систематическая ошибка: в чём разница?

Не всякая ошибка полезна. Если все чёрные кошки в датасете случайно помечены как собаки, модель обнаружит ложную закономерность: чёрная шерсть означает «собака». Систематическая ошибка (bias) опаснее случайного шума, потому что она создаёт устойчивый ложный паттерн, который модель не может отличить от настоящего.

Случайный шум размазан по данным равномерно и, как правило, компенсируется большим объёмом корректных примеров. Систематический перекос, наоборот, усиливается с каждым подтверждающим примером.

Если почти все данные показывают, что с увеличением площади растёт цена, одна странная запись вроде «70 м², 3 млн рублей» ещё не заставит модель сделать вывод, что большие квартиры внезапно дешевле маленьких. : Из разбора автора оригинальной статьи

Что с этого прямо сейчас, по ролям?

Автору Дзена, который дообучает ИИ-ассистент на своих текстах. Не тратьте дни на стерильную вычистку каждого примера. Один-два процента случайных огрехов в разметке не убьют модель. Гораздо опаснее однобокий датасет: если все ваши примеры написаны в одном стиле и на одну тему, модель «выучит» стиль, но не сможет помочь с новой рубрикой.

Маркетологу, который заказывает дообучение (fine-tuning) у подрядчика. Спрашивайте не «сколько ошибок в датасете», а «нет ли систематического перекоса». Если все положительные отзывы в обучающей выборке короткие, а все отрицательные длинные, модель научится оценивать длину текста, а не тональность.

Предпринимателю в РФ и СНГ. Доступные в России модели для дообучения (YandexGPT, GigaChat) принимают пользовательские датасеты машинного обучения. Принцип тот же: разнообразие важнее стерильности. Добавьте в обучающий набор примеры из разных сценариев, даже если некоторые «шумные», это полезнее, чем десять идеальных, но одинаковых.

Вычищенный до блеска датасет похож на теплицу: растение в ней выглядит идеально, но не переживёт первого ветра на улице. Ждать стоит не появления «безошибочных» наборов данных, а распространения практик осознанного внесения разнообразия в обучающие выборки, когда шум добавляют намеренно и контролируемо, как прививку, а не как загрязнение.