Нейросети впервые моделируют климат с учётом облаков: два подхода к ошибке в 4 градуса

Физик Крис Бретертон из Allen Institute for Artificial Intelligence (Ai2) и Тапио Шнайдер из Калифорнийского технологического института ведут параллельную гонку: оба используют машинное обучение, но идут разными путями. Шнайдер встраивает нейросеть внутрь классических физических уравнений, чтобы точнее учесть влияние облаков. Бретертон строит модели, которые предсказывают климат почти целиком по данным реального мира, минимально опираясь на физику. Ниже разберём, как устроены оба подхода и что из них можно взять на вооружение уже сегодня.

Почему облака ломают климатические модели?

Современные климатические модели строятся на уравнениях Навье-Стокса (набор формул, описывающих движение жидкостей и газов). Они делят планету на пиксели. Когда-то один пиксель покрывал тысячи километров, затем сотни. В 2022 году Министерство энергетики США запустило на суперкомпьютере Frontier модель с разрешением три километра на пиксель.

Но даже три километра слишком грубо для облаков: отдельное облако может быть размером в несколько метров, а его форму определяют ещё более мелкие воздушные завихрения.

«Чтобы добраться до низких облаков, нам понадобится примерно в 100 миллиардов раз больше вычислительной мощности, чем есть сейчас. Так что при моей жизни этого не случится». : Тапио Шнайдер, Калифорнийский технологический институт

Ошибка в облачном покрове всего на 2-3 процента сдвигает прогноз потепления на несколько градусов Цельсия. Именно поэтому одни модели дают плюс 2 градуса за ближайшие 50 лет, а другие плюс 6 при тех же выбросах углерода. Разница между «опасно, но терпимо» и «цивилизация дестабилизирована».

Два конкурирующих подхода: физика плюс ИИ против чистых данных

Подход Шнайдера: нейросеть внутри уравнений. Классические модели подставляют в уравнения Навье-Стокса дополнительные параметры (параметризации), которые имитируют эффект облаков. Шнайдер заменяет эти рукотворные параметры нейросетью: она обучается на данных о реальных облаках и подсказывает уравнениям, как должны вести себя воздушные потоки. Физика остаётся каркасом, нейросеть заполняет пробелы.

Подход Бретертона: предсказание напрямую из данных. Бретертон считает, что физические уравнения никогда полностью не опишут поведение облаков. Его команда в Ai2 строит инструменты ИИ, которые учатся предсказывать будущее непосредственно по наблюдениям: данным о льде, водяном паре, атмосферном давлении, собранным в реальных полётах над Чили, Калифорнией, Гавайями и Антарктидой.

Нейросети климат используют по-разному, но цель одна: заставить модель без настоящих облаков вести себя так, словно облака в ней есть.

Что понадобится

Если вы хотите разобраться в теме и попробовать работать с открытыми климатическими данными и нейросетями:

• Базовое понимание Python и работы с данными (pandas, numpy)
• Доступ к Google Colab или локальной машине с GPU (подойдёт даже бесплатный Colab)
• Библиотека ClimateLearn или аналогичная открытая библиотека для климатического машинного обучения
• Открытые климатические датасеты: ERA5 от Copernicus (европейский климатический сервис, доступен бесплатно) или CMIP6 (международный набор данных климатических моделей)
• Время: от 3 до 5 часов на первый эксперимент с предобученной моделью, от нескольких дней на дообучение (fine-tuning, обучение модели на ваших примерах под узкую задачу) на региональных данных

Пошаговая инструкция

1. Выберите задачу и регион. Определите, что именно вы хотите предсказать: облачность, осадки, температуру приземного слоя. Для российской аудитории логично взять регион, где облачность критична для прогнозов: Арктика, Западная Сибирь, Дальний Восток.

2. Скачайте данные ERA5 для вашего региона. Зарегистрируйтесь на сайте Copernicus Climate Data Store и запросите данные по нужным переменным (температура, влажность, облачный покров) за выбранный период.

import cdsapi
c = cdsapi.Client()
c.retrieve(
    'reanalysis-era5-single-levels',
    {
        'product_type': 'reanalysis',
        'variable': ['total_cloud_cover', '2m_temperature'],
        'year': '2023',
        'month': ['01','02','03'],
        'day': list(range(1,32)),
        'time': ['00:00','06:00','12:00','18:00'],
        'area': [75, 60, 50, 100],  # Западная Сибирь
        'format': 'netcdf',
    },
    'era5_cloud_siberia.nc'
)

1. Загрузите предобученную модель. Используйте открытые веса (open weights, когда разработчик публикует параметры модели и вы можете запускать её самостоятельно) климатических нейросетей, например FourCastNet от NVIDIA или Pangu-Weather. Обе модели доступны на GitHub.

git clone https://github.com/NVlabs/FourCastNet.git
cd FourCastNet
pip install -r requirements.txt

1. Запустите инференс (инференс, процесс, когда обученная модель выдаёт предсказание на новых данных) на своих данных. Подайте на вход скачанные ERA5-файлы и получите прогноз облачности на следующие часы или дни.

2. Сравните результат с реальными наблюдениями. Возьмите фактические данные за тот же период и посчитайте ошибку. Для облачности стандартная метрика RMSE (корень из среднеквадратичной ошибки, чем меньше число, тем точнее прогноз).

3. При необходимости дообучите модель на региональных данных. Если ошибка для вашего региона заметно выше, чем средняя по глобальной модели, имеет смысл дообучить последние слои нейросети на локальных наблюдениях.

# Пример: дообучение последнего слоя на данных по Западной Сибири
model.freeze_backbone()
model.train_head(
    train_data='era5_cloud_siberia_train.nc',
    val_data='era5_cloud_siberia_val.nc',
    epochs=20,
    lr=1e-4
)

1. Визуализируйте и интерпретируйте. Постройте карту предсказанной облачности и наложите на реальные спутниковые снимки. Это даёт понимание, где модель ошибается и в какую сторону.

Что делать с этим прямо сейчас, по ролям

Климатологам и исследователям в РФ. Оба описанных подхода (нейросеть внутри физических уравнений и нейросеть, обученная напрямую на данных) применимы к российским регионам. Данные ERA5 покрывают всю территорию России. Для территорий с критичной облачностью (Арктика, зоны вечной мерзлоты, сельскохозяйственные регионы) дообучение открытых моделей на локальных наблюдениях может дать более точный региональный прогноз, чем глобальная модель «из коробки».

Разработчикам ИИ и дата-сайентистам. Климатическое машинное обучение сейчас одно из самых быстро растущих направлений. Открытые веса FourCastNet, Pangu-Weather, GraphCast доступны на GitHub. Порог входа для эксперимента с предобученной моделью невысок: Python, GPU, пара часов. Это работающий кейс для портфолио и реальная задача, которую индустрия готова финансировать.

Авторам и журналистам, пишущим о технологиях. Тема «нейросети климат» сочетает научную глубину и понятную человеческую ставку: речь о том, потеплеет на 2 или на 6 градусов. Конфликт двух подходов (Шнайдер против Бретертона, физика против данных) даёт готовую драматургию для материала.

Разрыв между прогнозом «плюс 2 градуса» и «плюс 6 градусов» это не абстрактная научная проблема, а вопрос, будут ли работать привычные сценарии адаптации или их придётся переписывать с нуля. Нейросети климат пока не закрыли этот разрыв, но впервые за десятилетия у исследователей появились два конкурирующих инструмента, которые могут это сделать быстрее, чем рост вычислительных мощностей. Кто из них окажется точнее, станет ясно в ближайшие годы, и данные для проверки обоих подходов на территории России доступны уже сегодня.