Нейросеть для перевода видео обошла людей в 4 из 6 типов контента: отрыв до 22 баллов

Исследование провели две компании: EC Innovations, провайдер услуг локализации, и Jademond Digital, агентство цифрового маркетинга. Обе продают услуги, связанные с оценёнными практиками, и прямо раскрывают этот конфликт интересов. Результаты касаются только качества локализации с английского на китайский. Данных о влиянии на поисковые позиции, трафик или конверсии в исследовании нет.

Что именно сравнивали?

Исследователи взяли шесть типов контента: маркетинговые тексты, SEO-материалы (мета-описания, заголовки, тексты с ключевыми словами), технические тексты, информационные тексты, строки пользовательского интерфейса и контент для соцсетей.

Каждый фрагмент локализовали 15 способами. Среди них: живой переводчик, китайские нейросети (Qwen, Doubao, DeepSeek, Kimi) в чистом виде и с постредактированием человеком, западные нейросети в чистом виде и с постредактированием, а также классический машинный перевод (Google Translate) и машинный перевод с постредактированием.

Каждый результат оценивали слепо, то есть эксперт не знал, кто автор, по трём равновесным критериям:

• Точность и терминологическая последовательность
• Гладкость и языковое качество
• Стиль и культурная адаптация

Оценивали носители китайского языка с профессиональным опытом в локализации.

Где машина обошла человека и почему?

Главные выводы можно выстроить от самого неожиданного к ожидаемому:

• Маркетинговый контент: человек занял 10-е место из 15. Отрыв лидера, Qwen с постредактированием, составил 22,2 балла. По оценке EC Innovations, переводчики «перекорректировали» язык, сгладив текст до формальной правильности и убрав современный разговорный регистр, от которого зависит маркетинг.
• Четыре типа контента из шести человек закончил за пределами первой пятёрки: 7-е, 7-е, 9-е и 10-е место из 15.
• Qwen с постредактированием выиграл три категории, разделил первое место в четвёртой и занял второе в оставшихся двух.
• SEO-контент и информационный контент остались за человеком. Но преимущество над лучшим ИИ-процессом составило всего 2,8 балла. При трёх равновесных критериях оценки разница меньше трёх баллов, по признанию самих авторов, находится в зоне, где принимать шестизначные бюджетные решения без повторной проверки на собственном контенте рискованно.

Средние скрывают разброс между моделями

Авторы особо подчёркивают ловушку усреднения. Средний балл «китайских нейросетей» на SEO-контенте составил 60,7 из 100, что на 13,4 балла ниже человека. Но за этой цифрой стоят четыре совершенно разные модели.

По данным EC Innovations / Jademond Digital, разброс между моделями внутри одной категории на SEO-контенте составил 9,2 балла, а на техническом контенте уже 22,3 балла (от Qwen с 70,4 до Kimi с 48,1).

Никто не внедряет «среднюю китайскую нейросеть». Выбирают конкретную, и от этого выбора зависит, окажется результат на уровне человека или на 20 с лишним баллов ниже.

Google Translate с редактором обходит «голую» нейросеть

Отдельная находка для тех, кто уже выстроил конвейер классического машинного перевода. Постредактированный Google Translate набрал 66,7 балла на SEO-контенте, по данным EC Innovations / Jademond Digital. Это выше, чем «голый» Qwen, и выше любой нейросети без постредактирования в исследовании. Если у компании уже есть зрелый конвейер с памятью переводов и терминологической базой, добавление слоя постредактирования даст больше, чем переход на «голую» нейросеть.

Что делать с этим прямо сейчас?

Автору Дзена и копирайтеру. Если вы заказываете перевод маркетинговых текстов или адаптацию для зарубежной аудитории, проверьте, не «причёсывает» ли переводчик живой стиль до канцелярского. Нейросеть для перевода видео и текстов на китайский сохраняет разговорный интернет-регистр лучше, чем профессиональный лингвист. Это не значит, что нейросеть идеальна: на терминологически точном контенте (инструкции, SEO-тексты) человек пока впереди, хотя и с минимальным отрывом.

Маркетологу. Главный практический вывод: постредактирование (когда живой специалист правит выход нейросети) побеждает и чистый ИИ, и чистый человеческий перевод. Конкретно Qwen с постредактированием лидирует в большинстве категорий. Если бюджет ограничен, лучше взять нейросеть плюс редактора-носителя, чем платить за полный ручной перевод.

Предпринимателю в РФ и СНГ. Qwen, показавший лучшие результаты, доступен в России (открытые веса, то есть модель можно скачать и запустить на своём сервере). Doubao (модель от ByteDance) и DeepSeek тоже доступны. Из российских инструментов для задач перевода и локализации можно протестировать YandexGPT, хотя в данном исследовании он не участвовал и прямого сравнения нет.

Разрыв между лучшей нейросетью с редактором и живым переводчиком на маркетинговом контенте составляет 22,2 балла, и этот разрыв не в пользу человека. Для тех, кто локализует контент на китайский, вопрос уже не «заменит ли ИИ переводчика», а «на каких задачах переводчик ещё оправдывает свою ставку».

По данным EC Innovations / Jademond Digital (Search Engine Journal)