Прогресс сжатия: какой термин обозначает уровень креативности нейросети по Шмидхуберу

В чём суть спора?

В ноябре 2025 года Илон Маск публично назвал ИИ «сжатием и корреляцией». Франсуа Шолле, автор фреймворка Keras и бенчмарка ARC, поддержал идею: «Все великие научные открытия по своей сути являются сжатием информации. Они берут сложную совокупность наблюдений и говорят: "Все это подчиняется одному простому правилу"».

Шмидхубер ответил обоим ссылкой на свою работу Driven by Compression Progress, опубликованную 23 декабря 2008 года. Полное название статьи: «Простой принцип, объясняющий важнейшие аспекты субъективной красоты, новизны, удивления, интересности, внимания, любознательности, креативности, искусства, науки, музыки и шуток».

Суть работы умещается в одно предложение: нам интересно то, что мы сейчас понимаем чуть лучше, чем вчера. Шмидхубер формализует это через «компрессор», который сжимает всю историю наблюдений агента. Чем лучше данные сжимаются, тем лучше агент понимает и предсказывает мир. Термин, который Шмидхубер фактически вводит для уровня креативности, это прогресс сжатия (compression progress): внутреннее вознаграждение агенту выдаётся не за результат и не за объём собранных данных, а за каждый «сэкономленный бит» при сжатии воспринятого.

Четыре принципа «творческого агента»

Шмидхубер выстраивает теорию вокруг набора алгоритмических правил:

• Сохраняй всё. Вся история действий и наблюдений, единственное, что агент знает о мире. Шмидхубер прикидывает, что человеческому мозгу хватает места с запасом, если считать по синапсам.
• Улучшай субъективную сжимаемость. Каждая найденная закономерность экономит биты, а сжатая версия данных, по сути, и есть объяснение.
• Вознаграждай прогресс сжатия. Посмотрел на мир и ничего нового не понял: награды нет. Нашёл закономерность: получи «внутреннюю конфету».
• Максимизируй любопытство. Агент сам выбирает, куда смотреть, двигаясь туда, где вероятнее всего что-то поймёт.

Красоту данных Шмидхубер определяет как их сжимаемость для конкретного наблюдателя в данный момент, а интересность как производную этой красоты по времени. Проще говоря: красивое может быть скучным, если ты его уже выучил, а интересное то, что прямо сейчас становится понятнее.

Аргументы за: почему теория Шмидхубера работает?

Теория элегантна тем, что сводит субъективные понятия «красота», «юмор», «научное открытие» к одной измеримой величине. Пример из статьи: компрессор, который видел много лиц, строит усреднённый прототип, и новое лицо кодирует как отклонение от него. Лицо, близкое к прототипу, дёшево кодировать, поэтому оно субъективно «красивее». Симметрия, простые пропорции, это регулярности, которые компрессор «любит».

Для практиков аргумент ещё сильнее: LSTM, созданная Шмидхубером и Хохрайтером в 1997 году, реально была стандартом обработки последовательностей около пятнадцати лет. Распознавание речи на смартфонах в первой половине 2010-х, машинный перевод Google до перехода на трансформеры (transformer, архитектура нейросети, на которой построены GPT и другие современные модели), всё это LSTM и её потомки.

Наконец, Шмидхубер опубликовал разбор достижений Хинтона, Бенджио и Лекуна, получивших Тьюринговскую премию (Turing Award, аналог Нобелевской премии в компьютерных науках) в 2018 году, на более чем 200 ссылок. Он утверждает, что лауреаты систематически не цитировали первоисточники, включая его работы. Претензии касаются почти всего: от обратного распространения ошибки (backpropagation, базовый алгоритм обучения нейросетей) до генеративно-состязательных сетей (GAN), которые Шмидхубер считает частным случаем своей «искусственной любознательности».

Аргументы против: где теория буксует?

Шолле в дискуссии обозначил принципиальное расхождение. В его понимании интеллект, это «эффективность, с которой вы можете перейти от результатов применения правил к самим правилам». Речь идёт об аппроксимации (approximation, замена сложных зависимостей более простыми моделями, которые достаточно точно отражают данные). Правило всегда символично, а если оно не символично, значит, вы ничего не объяснили.

Иными словами, сжатие в понимании Шолле, это не просто экономия битов, а нахождение символического правила. Современные большие языковые модели сжимают данные статистически, но не извлекают из них правил в символическом смысле. Если прогресс сжатия считать креативностью, то любой улучшенный архиватор «креативен», а это обесценивает термин.

Есть и репутационная проблема. Приоритет Шмидхубера по ряду работ реально подтверждается, но манера подачи, он называет себя «отцом ИИ» и десятилетиями ведёт публичную войну за признание, сделала его фигурой, мягко говоря, спорной. Без этого контекста ноябрьский пост выглядит как самореклама, а не научный аргумент.

«Все великие научные открытия по своей сути являются сжатием информации. Они берут сложную совокупность наблюдений и говорят: "Все это подчиняется одному простому правилу"». : Франсуа Шолле, автор Keras и бенчмарка ARC

Что делать с этим прямо сейчас по ролям?

Авторам Дзена. Понимание разницы между «случайностью» и «креативностью» модели экономит часы. Не выкручивайте температуру в потолок в надежде на оригинальность. Лучше задайте модели два промпта: первый генерирует варианты, второй отбирает и обобщает. Это ближе к принципу «вознаграждай прогресс сжатия», чем лотерея с высокой температурой.

Маркетологам. Когда клиент спрашивает, «насколько креативна ваша нейросеть», теперь есть рамка для честного ответа: текущие модели не измеряют и не максимизируют прогресс сжатия, они перебирают вероятности. Это полезный инструмент, но не творческий партнёр.

Разработчикам и предпринимателям в РФ. LSTM, с которой начинал Шмидхубер, до сих пор используется в ряде продуктов для распознавания речи и перевода. Из доступных в России инструментов: YandexGPT и GigaChat работают на трансформерной архитектуре, но понимание истории технологий помогает оценивать, что именно вам продают под словом «ИИ-креативность».

Чего ждать дальше?

Спор Шмидхубера с индустрией не закончится твитом. Его теория прогресса сжатия пока остаётся теоретической рамкой, а не инженерным стандартом: ни OpenAI, ни Google, ни Яндекс не встроили этот принцип в коммерческие продукты как измеримый параметр. Но сам факт, что в 2025 году дискуссия о природе креативности ИИ ведётся на языке статьи 2008 года, говорит о том, что фундаментальный вопрос, умеет ли модель находить новые закономерности или только перетасовывать старые, пока без ответа, и именно от него зависит, останутся ли нейросети инструментом или станут чем-то большим.