Локальные LLM для перевода текстов на RTX 5060 Ti 16 ГБ: Qwen набрала до 92 баллов из 100

Автор много переводил книги через облачные Qwen, Claude, OpenAI и Gemini. Облако не всегда доступно из-за бюджета и правил сервисов, поэтому он проверил, получится ли уйти на своё железо. Это локальные LLM для перевода текстов, бенчмарк на RTX 5060 Ti 16 ГБ VRAM. Конфигурация его машины: процессор Core Ultra 7 265 и 96 ГБ DDR5.

Задач две. Первая: переводить сайты по ходу чтения, как Google Translate, только качественнее. Вторая: переводить книги локально. Для сайтов важна скорость, а книгу можно оставить переводиться на ночь.

Как автор проверял качество?

Тексты переводили на русский с английского, испанского, китайского и иврита. Эталонный перевод сделали модели Claude. Каждый перевод оценивали «модели-судьи» Claude и OpenAI, параллельно замеряли скорость.

Набор текстов собрали намеренно разношёрстный:

• английский: колонка WSJ, медицинская статья с PubMed, документация к ядру, тред с Reddit, даосское руководство и глава из «Поминок по Финнегану» Джойса;
• испанский: экономическая статья, глава современного романа, детектив с нарко-сленгом, стихи Лорки;
• китайский: блог, посты из Weibo, глава Ли Цзюань, техническое руководство, античные и средневековые трактаты;
• иврит: договор аренды, новостная колонка, споры из фейсбука, глава Амоса Оза, Бен Сира и отрывок из Каббалы XVI века.

В итоге получилось два бенчмарка: современные тексты и стресс-тест на древних. Отрывок из Каббалы оказался самым сложным, и на нём, по словам автора, провалились все локальные модели.

Что понадобится для перевода без облака?

• Видеокарта с 16 ГБ видеопамяти (VRAM, отдельная память видеокарты), в тесте RTX 5060 Ti.
• Оперативная память от 80 до 95 ГБ под модель плюс запас, у автора 96 ГБ.
• Программа llama.cpp, которая запускает модели на вашем компьютере.
• Файл модели в формате GGUF (формат, в котором модель хранится для llama.cpp) из репозитория unsloth/Qwen3.8-Flash-Next-GGUF.
• Время на загрузку файла около 94 ГБ и на настройку.

Пошаговая инструкция: от файла модели до перевода

1. Решите, что вам важнее. Для сайтов берите квант IQ3_XXS: 21 токен в секунду. Квант, это сжатая версия модели, а токен, кусочек слова. Для книг берите IQ4_XS: от 14 до 16 токенов в секунду. По оценкам автора, разница в качестве между ними в пределах шума.
2. Скачайте нужную версию GGUF. Модель большая, но на каждый токен у неё работает лишь 6 млрд параметров. Поэтому она выдаёт рабочую скорость даже из оперативной памяти.
3. Запустите сервер llama.cpp. Начало команды из профиля автора:

llama.cpp/build/bin/llama-server -m /models/unsloth/Qwen3.8-Flash-Next-GGUF/UD-IQ4_XS/<файл модели>

1. Задайте контекст 16 384 токена, как в профиле iq4.
2. Подберите размещение слоёв между видеокартой и оперативной памятью флагами -ngl, --n-cpu-moe, -t и -ub. Автор настраивал их под 16 ГБ. Полная команда с цифрами есть в оригинале.
3. Включите на сервере жадное декодирование: модель всегда выбирает самый вероятный вариант, без случайности. Рассуждение (режим, где модель сначала «думает», потом отвечает) выключите.
4. Для старинных текстов пишите инструкцию модели по-русски. Это дало автору плюс 5 баллов.
5. Художественный текст пропускайте через второй проход редактуры. Без него результат средний.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Локальная модель подойдёт, чтобы быстро читать зарубежные источники для своих статей. Для публикации перевод всё равно вычитывайте сами.

Маркетологу. Если вы регулярно переводите чужие сайты и обзоры, свой сервер снимает расходы на токены у облачных сервисов. Но вложения в 96 ГБ памяти окупятся только при постоянном потоке текстов.

Предпринимателю в РФ и СНГ. Модель из открытого репозитория работает офлайн, без оплаты в валюте и без риска блокировки. Из доступных в РФ облачных вариантов есть YandexGPT и GigaChat, это запасной путь, если нужного железа нет.

Мы в dzen.guru считаем так: локальный переводчик сегодня, это страховка на случай, если облако закроется, а не замена ему. Собрать её стоит заранее, пока память ещё можно спокойно докупить.