$440 млн за 45 минут: почему человечество запрограммировано на самоуничтожение

Статья, на которую мы опираемся, называет это явление Молохом. Так обозначают ситуацию, когда каждый участник делает локально правильный выбор, а вместе они толкают систему к худшему исходу. Ниже кратко про механику и пошаговый способ проверить на эту ловушку собственную работу с помощью нейросети.

Почему Knight Capital погубила спешка, а не злодей?

Первого августа 2012 года в четыре часа утра на серверах Knight Capital завершилось плановое обновление. Тогда это был крупнейший брокер американского фондового рынка. Через 45 минут после открытия биржи фирма потеряла 440 миллионов долларов и навсегда перестала существовать как независимый бизнес.

Инженеры в спешке обновляли SMARS, систему, которая направляет заявки на биржу. Торопились они к запуску новой торговой программы Нью-Йоркской фондовой биржи. На одном из восьми серверов остался включённым флаг функции Power Peg: её написали девять лет назад и давно не использовали.

Дефектный сервер начал скупать акции по завышенным ценам и распродавать их в убыток. На биржу уходило по четыре миллиона ордеров в минуту.

По словам автора статьи, инженеры понимали, что легаси-код надо вычистить. Так называют устаревшие куски программы, которые никто не решился удалить. Ручную выкладку обновления на восемь серверов они тоже считали рискованной. Но задержка релиза на сутки грозила потерей крупнейших клиентов. Злодея в этой истории нет, есть дедлайн.

Молох описывается простой таблицей из теории игр

Молохом в древности звали финикийское и ханаанское божество, которому приносили в жертву детей. Поэт Аллен Гинзберг в поэме «Вопль» 1955 года назвал так бездушный конвейер индустриального капитализма. В июле 2014 года психиатр Скотт Александр в эссе «Размышления о Молохе» превратил этот образ в инструмент системного мышления.

Проще всего Молох виден в дилемме заключённого. Её в 1950-х сформулировали математики Меррилл Флад и Мелвин Дрешер из корпорации RAND, а название позже дал Альберт Таккер. Двух подозреваемых, Джека и Джилл, изолируют друг от друга и предлагают сдать сообщника.

Что бы ни выбрала Джилл, Джеку выгоднее её сдать, и она рассуждает так же. В итоге оба теряют по пять лет, хотя при взаимном молчании отсидели бы по году. Эту точку Джон Нэш в 1951 году описал как равновесие: в одиночку из неё не выйти. Если Джек промолчит, а Джилл всё равно его сдаст, он получит десять лет вместо пяти.

Биолог Гаррет Хардин в 1968 году перенёс ту же логику на миллионы участников и назвал её трагедией общих ресурсов. Каждому пастуху выгодно выгнать на общее пастбище ещё одну корову, пока трава не исчезнет у всей деревни. В 1999 году Элиас Куцупиас и Христос Пападимитриу ввели меру этих потерь, «цену анархии» (Price of Anarchy). Это отношение потерь при худшем раскладе без договорённостей к потерям при лучшем общем решении, то есть своего рода налог на несогласованность.

Что понадобится для разбора?

• Нейросеть с чатом. Из доступных в РФ аналогов подойдут YandexGPT и GigaChat.
• Одна живая ситуация, где вас торопят сроки или конкуренты.
• Полчаса без отвлечений.
• Список тех, с кем вы гонитесь: коллеги, конкуренты, подрядчики.

Пошаговая инструкция: пять шагов от гонки к договорённости

1. Опишите гонку одним абзацем: где вы ускоряетесь только потому, что ускоряются другие.
2. Назовите игроков и два варианта поведения: «держим планку» и «срезаем угол».
3. Попросите нейросеть собрать матрицу по образцу дилеммы заключённого:

Вот ситуация: [описание]. Игроки: [кто]. У каждого два варианта: «держим качество» и «срезаем угол ради скорости». Составь таблицу исходов 2 на 2 для каждого сочетания. Отдельно укажи, в какой точке все застрянут, если никто не договорится, и что мы теряем по сравнению с лучшим общим вариантом.

1. Найдите свой «флаг Power Peg»: что именно вы жертвуете ради скорости. Например, проверку фактов, вычитку или тестирование.
2. Ищите выход через согласование, а не через личное геройство. Это может быть договорённость с коллегами, внешнее правило или короткий чек-лист, который не пропускается ни при каком дедлайне.

Что делать с этим прямо сейчас, по ролям

Автору Дзена. Разберите по шагам гонку за горячими темами. Определите, какую проверку вы не отдаёте сроку ни при каких условиях, и запишите её на видном месте.

Маркетологу. Посмотрите на конкуренцию за общее внимание аудитории как на пастбище Хардина. Если все наращивают частоту рассылок, страдает весь канал. Предложите команде потолок частоты как внутреннее правило.

Предпринимателю РФ и СНГ. Прогоните через матрицу спешку к релизу в ИИ-стартапе, сроки по госзакупкам или подготовку к регуляторным требованиям. Выясните, где задержка на сутки обходится дешевле, чем ошибка в продакшене.

Knight Capital хватило 45 минут, чтобы исчезнуть. Ваш следующий дедлайн стоит потратить хотя бы на одну таблицу два на два.