Mixture of Experts: как архитектура Qwen 3.5 даёт качество 397 млрд параметров по цене 17 млрд

Архитектура Mixture of Experts не появилась вчера, но именно сейчас она стала стандартом для крупных открытых моделей (открытые модели, open-source, код и веса которых доступны сообществу). Раньше разработчики соревновались, у кого больше параметров. Теперь хвалятся тем, как мало параметров активны при генерации ответа. Ниже разбираем, почему это произошло и как это работает на практике.

Что понадобится

• Время: 15 минут на чтение и один эксперимент.
• Доступ к модели с MoE-архитектурой: подойдёт бесплатный чат Qwen (qwen.ai) или любой сервис, где доступна Qwen 3.5, Kimi K2.5 или Mixtral.
• Базовое понимание промптов (промпт, prompt): умение сформулировать запрос к нейросети на естественном языке.
• Блокнот или заметки: записать наблюдения о скорости и качестве ответа.

Как генерирует ответ обычная модель?

Чтобы понять выгоду MoE, сначала нужно увидеть проблему.

В классическом трансформере (архитектура, на которой построены GPT, Claude и другие чат-боты) текст проходит через десятки слоёв. На каждом слое работают два механизма.

• Attention (внимание) занимает примерно треть параметров. Этот механизм сверяется с контекстом беседы, понимает, о чём речь, и передаёт пометки дальше.
• FFN, Feed-Forward Network (полносвязная сеть) занимает оставшиеся две трети. Это склад шаблонов: он знает, что бывает «пиковая нагрузка», «пиковая мощность» и «пиковая дама», но не видит контекста, а только перемножает числа от предыдущего слоя.

Модель собирает ответ по одному токену. Каждый токен проходит через все слои и все параметры. Слово «нагрузка» в техническом ответе стоит полного прохода через 96 блоков и, допустим, 175 миллиардов параметров. Все матрицы, включая знания о медицине и поэзии, участвуют в вычислении одного технического термина. За слово «привет» вы платите столько же.

Что именно делает Mixture of Experts?

Разработчики MoE задали простой вопрос: зачем задействовать весь «склад» FFN на каждом слое, если можно нарезать эту часть модели на десятки маленьких «экспертов» и для каждого токена включать только пару из них?

Вот что изменилось в архитектуре.

1. Вместо одного FFN в каждом слое появились N маленьких FFN-экспертов и крошечный роутер (маршрутизатор, который решает, кого подключить).
2. Attention остался почти без изменений. Он и так компактный.
3. Число параметров стало двойным: общее количество показывает, сколько модель «знает», а число активных показывает, сколько стоит каждый токен в вычислениях.

У Qwen 3.5 это 397 миллиардов знаний по цене 17 активных. У Kimi K2.5 триллион по цене 32.

Пошаговая инструкция: как токен проходит через MoE

1. Токен входит в слой и проходит через Attention почти как в обычной модели. Механизм внимания сверяется с контекстом и формирует hidden state (внутреннее представление, те самые «пометки», которые модель себе навычисляла).
2. Роутер получает hidden state и за одну операцию определяет top-k экспертов из N. Например, из 64 экспертов выбирает двух.
3. Токен прогоняется только через выбранных экспертов. Остальные не считаются вообще: их веса даже не читаются из памяти. Это не «посчитали и умножили на ноль», это настоящий пропуск.
4. Выходы выбранных экспертов складываются с весами роутера и становятся выходом слоя.
5. Слой передаёт результат следующему слою, и процесс повторяется.

Чтобы проверить разницу на практике, задайте один и тот же промпт модели с MoE (например, Qwen 3.5) и плотной модели сопоставимого качества и засеките время ответа:

Ты инженер. Объясни в трёх предложениях, что такое пиковая нагрузка на сервер и как её снизить.

Обратите внимание на скорость появления токенов. MoE-модель при сопоставимом качестве ответа генерирует заметно быстрее.

Эксперт по медицине в MoE не живёт

Название «эксперт» вводит в заблуждение. Может показаться, что один эксперт отвечает за медицину, другой за код, третий за юриспруденцию. Реальность проще и интереснее одновременно.

Когда исследователи, в том числе авторы Mixtral, посмотрели, кому роутер раздаёт токены, тематической специализации они не обнаружили. Эксперты специализируются по токен-паттернам: один «любит» пунктуацию, другой числа, третий отступы в коде. Синтаксис в этом представлении различим куда лучше, чем «медицина» или «юриспруденция».

Где архитектура буксует?

У MoE есть реальные ограничения.

Токены уходят к разным экспертам, но всем нужны одни и те же базовые знания. Эксперты независимо друг от друга выучивают одно и то же на своих параметрах. Это дублирование, разработчики DeepSeek заметили проблему и доработали архитектуру, чтобы снизить повторы.

Вторая боль: вся экономия MoE держится на том, что невыбранные эксперты не читаются из памяти. Но сами веса всех экспертов по-прежнему нужно хранить в видеопамяти. Модель на 397 миллиардов параметров требует столько же RAM и VRAM, сколько «плотная» на 397 миллиардов, хотя считает как модель на 17 миллиардов.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Если вы используете ИИ-помощника для генерации черновиков или заголовков, выбирайте MoE-модели: при том же качестве ответ приходит быстрее, а стоимость API ниже. Qwen 3.5 доступна бесплатно через qwen.ai.

Маркетологу. Стоимость инференса (inference, процесс генерации ответа моделью) падает. Если вы платите за API по токенам, MoE-модели позволяют получать ответы сопоставимого качества дешевле. Пересчитайте бюджеты.

Предпринимателю в РФ и СНГ. Из российских моделей архитектура MoE пока не анонсирована в публичных продуктах YandexGPT и GigaChat. Но вы уже можете использовать Qwen 3.5 через API или интерфейс, модель поддерживает русский язык.

Если вы дочитали до этого места, у вас теперь есть простой критерий для выбора модели: смотрите не на общее число параметров, а на активные. Именно они определяют, сколько вы ждёте ответа и сколько платите за токен.