Google открыла TPU Sync: задержка передачи кэша ниже на 90%, Coral TPU не поддержан

Главный результат взят из внутренних тестов компании. На моделях от 235 до 480 млрд параметров задержка передачи KV-кэша сократилась больше чем на 90%. KV-кэш (key-value cache) это «черновая память» модели о уже прочитанном тексте, благодаря которой ей не нужно пересчитывать его заново. У Qwen3 235B медианная задержка снизилась с нескольких секунд примерно до 230 миллисекунд.

Google Cloud рассказала о релизе в техническом блоге. Код опубликован на GitHub под открытой лицензией Apache-2.0, то есть это опенсорс (open-source, код можно скачать и изменять). Обратите внимание на сам предмет релиза: компания выпустила не новую модель, а инструмент для перемещения данных внутри дата-центра.

Что измеряли?

TPU это специализированный процессор Google для нейросетей. Когда большая модель отвечает на запрос, идёт инференс (inference, работа уже обученной модели). Модель держит промежуточные данные в нескольких местах: в HBM (сверхбыстрая память прямо на чипе), в обычной оперативной памяти сервера, в общем хранилище и в сети между серверами. TPU Sync объединяет эти уровни в одну систему и переносит данные напрямую, без лишних переупаковок.

Представьте ресторанную кухню. Повар может готовить быстро, но если заготовки долго носят из холодильника на другом этаже, гость всё равно ждёт. Google взялась ускорить именно эту доставку.

Проверяли два сценария:

• Разделённая подача ответа (P/D). Одна машина читает запрос (prefill), вторая пишет ответ (decode), а кэш передаётся между ними, пока ответ уже генерируется.
• Кэширование начала запроса (prefix caching). Если у многих запросов одинаковое начало, например общий системный промпт, модель берёт уже обработанную часть из памяти и не считает её заново.

Тестировали модели MoE (mixture of experts, «смесь экспертов», где за каждую задачу отвечает часть специализированных блоков). Оборудование: TPU v7x под названием Ironwood в конфигурации 2x2x1, шина PCIe Gen5 и сетевые карты на 200 Гбит/с. Программная связка: tpu-inference v0.24.0, JAX 0.10.2 и libtpu 0.0.42.1. Если вы попали сюда по запросу google coral tpu, учтите: по документации TPU Sync работает только на облачных Cloud TPU v7x и v6e.

Что обнаружили?

• Передача кэша. Накладные расходы снизились больше чем на 90%. У Qwen3 235B передача сократилась с нескольких секунд примерно до 230 мс.
• Время до первого токена. TTFT (time to first token, сколько ждать первого кусочка ответа) уменьшилось на 60% у модели 235B и на 90% у 480B при низкой нагрузке.
• Пики трафика. Скорость выдачи токенов (кусочков слов, из которых модель собирает ответ) у 235B выросла на величину от 30 до 70%.
• Ёмкость кэша. Когда веса модели занимают большую часть HBM, эффективная ёмкость кэша выросла на порядок.
• Длинный контекст. На запросах длиной 64 тысячи токенов TTFT упало до 90%, пропускная способность выросла более чем на 50%, а задержка между токенами P99 (самые медленные 1% случаев) снизилась на 30%.

Библиотека подключается к PyTorch и JAX, работает внутри vLLM-TorchTPU и SGLang-TorchTPU, а также в llm-d 1.0 на GKE, облачной платформе Google для контейнеров. Интеграции с vLLM и SGLang делали вместе с Inferact и RadixArk. По словам Google, архитектуру оценивают Meta и Wayfair.

Что это значит для вас?

Напрямую эту библиотеку вы не установите: она для инженеров, которые разворачивают модели на сотнях миллиардов параметров. Важна она тем, что влияет на скорость и цену сервисов, которыми вы пользуетесь.

Автору Дзена. Чем быстрее облако отдаёт первое слово ответа, тем меньше ожидания при работе с длинными текстами. Сценарий с контекстом 64K тысячи токенов как раз про то, когда вы загружаете в нейросеть объёмную статью или расшифровку и задаёте к ней вопросы.

Маркетологу. Кэширование начала запроса выгодно, когда сотни запросов начинаются с одного системного промпта. Если строите воронку на ИИ, держите неизменную инструкцию в начале запроса, а переменную часть ставьте в конец. Так провайдеры, которые используют кэширование, смогут повторно брать уже обработанное начало.

Предпринимателю в РФ и СНГ. Библиотека работает только в Google Cloud, поэтому для российского бизнеса это скорее ориентир, чем готовый инструмент. Из доступных в РФ аналогов для текстовых задач есть YandexGPT и GigaChat.

Практический шаг на эту неделю: разделите свои рабочие промпты на постоянную инструкцию и меняющуюся часть. Такая привычка начнёт окупаться, как только ваш сервис включит кэширование.

По данным Google Cloud (технический блог и репозиторий TPU Sync на GitHub)