Qwen 3.8 27B обошла Claude Opus 4.6 и работает на домашней видеокарте с 24 ГБ

Модель выпустила команда Qwen (Alibaba) и опубликовала на Hugging Face. По бенчмаркам (стандартизированным тестам, на которых сравнивают модели) с карточки модели, Qwen 3.8 27B обходит Claude Opus 4.6 в ряде задач. Модель понимает текст, изображения и видео, поддерживает контекстное окно 262 000 токенов, а с технологией YaRN (метод расширения контекста без дообучения) его можно растянуть до миллиона. Для локального запуска уже готовы кванты (сжатые версии модели, которые занимают меньше памяти) в формате GGUF от Unsloth.

Что нужно для запуска?

• Видеокарта: NVIDIA RTX 3090, RTX 4090 (24 ГБ VRAM) или RTX 5090 (32 ГБ VRAM)
• Софт: llama.cpp (свежая сборка с поддержкой MTP) или Docker с CUDA 12
• Место на диске: от 15 до 20 ГБ под квант
• Время на подготовку: 10 минут на скачивание модели, 5 минут на запуск
• Hugging Face: доступ к репозиториям Qwen/Qwen3.8-27B и unsloth/Qwen3.8-27B-GGUF

Пошаговая инструкция запуска через llama.cpp

1. Установите или обновите llama.cpp. Нужна сборка b10423 или новее, с поддержкой MTP (Multi-Token Prediction, спекулятивное предсказание, когда модель угадывает сразу несколько следующих токенов и за счёт этого ускоряется).

2. Выберите квант под вашу карту. На RTX 5090 (32 ГБ) протестированы два варианта из репозитория Unsloth:

3. UD-Q6_K_XL: контекст до 48 000 токенов, скорость генерации около 100 токенов в секунду

4. UD-Q5_K_XL: контекст до 128 000 токенов, скорость генерации около 120 токенов в секунду

На RTX 3090 или RTX 4090 (24 ГБ) берите квант меньшего размера, квантуйте кэш контекста (параметр --kv-unified) или частично выгружайте слои модели в оперативную память.

1. Запустите сервер. Вот команда для кванта UD-Q6_K_XL с контекстом 48 000:

llama-server \
  -hf unsloth/Qwen3.8-27B-GGUF:UD-Q6_K_XL \
  --host 0.0.0.0 --port 8080 \
  --fit off --gpu-layers all --gpu-layers-draft all \
  --ctx-size 48000 --kv-unified \
  --top-p 0.95 --top-k 20 --temp 1.0 --min-p 0.00 --repeat-penalty 1.0 \
  --spec-type draft-mtp

1. Откройте браузер по адресу http://localhost:8080. Встроенный веб-интерфейс llama.cpp готов к работе: вводите промпт (prompt, текстовый запрос к модели) и получаете ответ.

Альтернатива: запуск через Docker

Если вы предпочитаете контейнеры, создайте файл docker-compose.yml с таким содержимым:

services:
  llama:
    image: ghcr.io/ggml-org/llama.cpp:server-cuda12-b10423
    container_name: llama
    devices:
      - "nvidia.com/gpu=all"
    ports:
      - "8080:8080"
    environment:
      - NVIDIA_VISIBLE_DEVICES=all
      - NVIDIA_DRIVER_CAPABILITIES=compute,utility
    volumes:
      - ~/.cache:/root/.cache
    entrypoint: ["./llama-server"]
    command: >
      --host 0.0.0.0 --port 8080
      --ctx-size 48000
      -hf unsloth/Qwen3.8-27B-GGUF:UD-Q6_K_XL
      --spec-type draft-mtp
      --top-p 0.95 --top-k 20 --temp 1.0
      --min-p 0.00 --repeat-penalty 1.0

Запустите docker compose up -d, дождитесь загрузки модели (первый раз качается из Hugging Face) и откройте http://localhost:8080.

Кому это пригодится и что делать прямо сейчас?

Автору на Дзене. Локальная модель с контекстом 48 000 и более токенов позволяет загрузить черновик длинной статьи целиком и попросить переписать структуру, проверить логику, предложить заголовки. Данные не уходят ни на какой сервер: всё на вашем компьютере.

Маркетологу и копирайтеру. Мультимодальность (multimodal, способность модели работать одновременно с текстом, картинками и видео) означает, что Qwen 3.8 может описать скриншот лендинга, разобрать рекламный баннер или предложить правки к визуалу. Без подписок, без лимитов на запросы.

Предпринимателю в РФ и СНГ. Модель открытая (open-source), работает без облачного API и без VPN. Если у вас или у вашего разработчика есть подходящая видеокарта, запуск бесплатный. Из облачных альтернатив в РФ доступны YandexGPT и GigaChat, но они не дают локального контроля над данными.

Модель уже доступна для скачивания, железо стоит на вашем столе. Осталось ввести одну команду в терминал и проверить, заменит ли локальный Qwen 3.8 ваш облачный чат-бот.