OpenAI раскрыла инфраструктуру ChatGPT: 6 принципов хранилища для сотен миллионов запросов

Компания OpenAI опубликовала инженерный разбор того, как устроено хранилище данных ChatGPT. Материал описывает ключевые вызовы: рост числа пользователей, увеличение объёма хранимых диалогов и необходимость мгновенного отклика при сотнях миллионов обращений. Для разработчиков, которые строят собственные сервисы с большой аудиторией, это редкая возможность увидеть реальную архитектуру, а не маркетинговые слайды.

Что понадобится

• Базовое понимание реляционных баз данных (таблицы, индексы, запросы)
• Представление о том, что такое кластер (несколько серверов, работающих как единое целое)
• 15 минут на чтение и осмысление принципов
• Для практики: доступ к любой СУБД с поддержкой шардирования (PostgreSQL, CockroachDB, YDB от Яндекса)

Как OpenAI масштабирует хранилище: пошаговый разбор

Ниже изложены принципы, которые OpenAI применяет к chatgpt инфраструктура хранения. Каждый шаг можно адаптировать к собственному проекту.

1. Вертикальное масштабирование как стартовая точка

Первый подход: наращивание мощности одного сервера. Больше оперативной памяти, быстрее диски, мощнее процессор. Это работает до определённого предела и не требует переписывания кода.

2. Шардирование, когда один сервер перестаёт справляться

Шардирование (разделение данных на части, каждая живёт на отдельном сервере) позволяет распределить нагрузку. Например, диалоги пользователей с именами на А-М хранятся на одном сервере, Н-Я на другом. В реальности деление сложнее, обычно по хешу идентификатора пользователя.

3. Выбор ключа шардирования

Критически важный шаг. Неправильный ключ приводит к «горячим» шардам, когда один сервер перегружен, а остальные простаивают. OpenAI выбирает ключ так, чтобы нагрузка распределялась равномерно. Для ИИ-сервиса это чаще всего идентификатор пользователя или сессии.

4. Кэширование горячих данных

Не каждый запрос должен идти в базу. Часто запрашиваемые данные (последний диалог, настройки пользователя) хранятся в быстром кэше, оперативной памяти. Это снижает нагрузку на основное хранилище в разы.

5. Разделение чтения и записи

Запись новых сообщений идёт в основную базу. Чтение старых диалогов идёт из реплик (копий базы, которые обновляются с небольшой задержкой). Это позволяет обслуживать больше читающих запросов, не замедляя запись.

6. Асинхронная обработка тяжёлых операций

Генерация ответов, подсчёт статистики, обновление индексов делаются не в момент запроса, а в фоне. Пользователь получает отклик быстро, а тяжёлые задачи обрабатываются в очереди.

-- Пример: создание таблицы с шардированием по user_id (PostgreSQL + Citus)
SELECT create_distributed_table('conversations', 'user_id');

Что делать с этим прямо сейчас?

Разработчику ИИ-сервиса в России. Если вы строите продукт на YandexGPT, GigaChat или открытых моделях и аудитория растёт, принципы те же: шардирование по идентификатору пользователя, кэш для горячих данных, реплики для чтения. Из российских инструментов: YDB от Яндекса поддерживает горизонтальное масштабирование из коробки.

Автору Дзена и контент-маркетологу. Понимание инфраструктуры помогает объяснять клиентам и читателям, почему ИИ-сервисы иногда «тормозят» и что за этим стоит. Это повышает экспертность ваших материалов.

Предпринимателю. При оценке подрядчика на разработку ИИ-продукта спросите: «Как вы будете масштабировать хранилище при росте аудитории в 10 раз?» Ответ покажет, кто перед вами.

Дисциплина масштабирования, не технология, а последовательность решений, вот что отличает сервис на 300 миллионов пользователей от сервиса, который падает на первом миллионе.