gpu-unlock снимает потолок FP16/BF16 на RTX 20/30/40 без перепрошивки: до 60% к скорости ИИ

NVIDIA делит линейку на игровые GeForce RTX и профессиональные карты (Tesla, A100, H100). Разница не только в цене, но и в скорости тензорных ядер (блоков видеокарты, которые умножают таблицы чисел для нейросетей) на форматах FP16 и BF16. Это «укороченные» числа, в которых нейросеть хранит и считает данные, как цены, округлённые до рубля.

Железо у этих карт одинаковое или очень близкое, но на потребительских скорость этой математики урезана, чаще всего вдвое. Проект gpu-unlock даёт на вопрос «как снять программный потолок FP16/BF16 на RTX 20/30/40 без перепрошивки» такой ответ: модуль ядра Linux (бесплатной операционной системы) переключает карту в полный режим ещё до загрузки драйвера.

Деталь, которую легко пропустить: автор разбора, на который мы опираемся, сам модуль не запускал. Все цифры ниже взяты из README проекта и отчётов сообщества, независимой проверки нет.

Где прирост есть, а где его не будет?

Ускорение касается обучения и этапа prefill, то есть обработки входного промпта. Генерация ответа (decode) упирается в скорость памяти, а не в вычисления, поэтому там выигрыша нет. Типичные приросты по отчётам сообщества:

• Prefill больших языковых моделей (LLM, нейросетей вроде ChatGPT) на FP16/BF16: от 25 до 55%, время до первого слова ответа ниже на величину от 25 до 30%.
• LoRA (облегчённое дообучение модели на ваших примерах) и полное дообучение на BF16: от 25 до 50%.
• Генерация изображений на FP16/BF16: от 30 до 55%.
• Генерация видео в Wan 2.2 на BF16: от 15 до 20%.
• FlashAttention и SDPA (ускоренные блоки «внимания» модели): от 50 до 60%.
• llama.cpp и Ollama (программы для запуска нейросетей на своём компьютере) с моделями в формате GGUF: от 0 до 15%, заметнее на длинном тексте.

Без изменений остаются генерация ответа, сжатые модели INT8, FP8 и INT4, игры и обычные расчёты FP32. Для RTX 4090 автор отдельно предупреждает: карта раньше упирается в лимит мощности, поэтому на больших задачах прирост будет ниже пикового.

Карты 10-й серии (Pascal, например GTX 1070) не поддерживаются: у них нет тензорных ядер в нужном виде. Точный список моделей лежит в файле kernel/gpu_unlock/recipes.c репозитория.

Что понадобится для разблокировки?

• Компьютер с картой RTX 20, 30 или 40 серии.
• Linux на базе Arch, Debian/Ubuntu или Fedora/RHEL. Windows автор не поддерживает.
• Права администратора и доступ к настройкам загрузчика.
• Около получаса, если вы раньше хоть раз правили параметры загрузки.

Как установить gpu-unlock за пять шагов?

1. Скачайте и установите модуль. Скрипт сам определит сборку Linux и поставит зависимости:

git clone https://github.com/zagitta/gpu-unlock
cd gpu-unlock
make install

1. Если автоопределение не сработало, используйте вариант под свой пакетный менеджер: make install-arch, make install-deb для Debian и Ubuntu, make install-rpm для Fedora и RHEL (нужен DNF).

2. Добавьте параметр ядра, не стирая уже прописанные опции:

gpu_unlock.targets=all

Где его прописать, зависит от загрузчика: GRUB, grubby на Fedora, systemd-boot или файл /etc/kernel/cmdline. Вместо all можно указать адреса слотов конкретных карт, например gpu_unlock.targets=0000:21:00.0,0000:22:00.0.

1. Перезагрузите компьютер. Модуль встраивается в стартовый образ системы, записывает в карту переключатели скорости, сбрасывает её и отдаёт штатному драйверу NVIDIA.

2. Проверьте результат:

journalctl -k -b | grep gpu_unlock
lspci -nnk -s 0000:XX:00.0

Откатить изменения просто: уберите gpu_unlock.targets= из параметров ядра или удалите пакет.

Карта под нагрузкой будет греться сильнее, но штатная защита от перегрева продолжает работать. Модуль распространяется по лицензии GPL-2.0-only.

Что делать с этим прямо сейчас, по ролям?

Автору Дзена. Если вы генерируете картинки к статьям локально и у вас RTX 20/30/40 под Linux, это шанс ускорить работу без затрат. На Windows ждать нечего, а сторонние порты автор проекта не поддерживает.

Маркетологу. Выигрыш заметен там, где нейросеть читает длинные тексты: брифы, выгрузки отзывов, базы знаний. Прирост ограничен обработкой промпта, сами ответы быстрее печататься не станут.

Предпринимателю. Для дообучения своей модели на BF16 это заявленные от 25 до 50% без покупки профессиональной карты. Проверьте свою модель по файлу recipes.c и прогоните тест до и после на собственной задаче. Если локальный запуск не ваш путь, из доступных в РФ облачных аналогов есть YandexGPT и GigaChat.