Нейросимвольный ИИ Шумского работает на CPU без GPU: что это даёт российским командам

Подход строится на стыке двух парадигм. Символьный ИИ (системы, которые манипулируют явными правилами и знаками, как экспертные системы 1980-х) давал предсказуемые ответы, но ломался на сложных задачах. Нейросети на базе трансформеров (архитектура, на которой работают ChatGPT и другие большие языковые модели) обобщают данные, но плохо объясняют свои решения и регулярно галлюцинируют (уверенно выдумывают то, чего не было). Шумский пытается взять лучшее от обоих подходов. Доклад, на котором были заданы уточняющие вопросы автору, описан в источнике блога Алексея Хахунова.

Как устроено послойное сжатие?

Вместо предсказания следующего токена (минимального фрагмента текста) модель Шумского сжимает цепочки данных, и грамматически, и семантически, слой за слоем.

В основе лежит принцип минимальной длины описания: чем короче запись модели плюс закодированных ею данных, тем модель лучше. Проще говоря, система ищет самый компактный способ описать текст, и если новая единица экономит биты, она попадает в словарь.

Первый слой работает похоже на трансформер: предсказывает следующий символ. Но цель другая. Система ищет момент, когда точность предсказания резко падает. В этой точке ставится граница, цепочка кодируется и проверяется на экономию битов.

На следующем уровне найденные единицы становятся новыми символами, и процесс повторяется. В теории выстраивается пирамида: морфемы (части слов), затем слова, фразы, предложения, понятия.

Внутри каждого уровня работают два вида сжатия. Сначала без потерь: поток нарезается на повторяющиеся единицы для пополнения словаря. Затем с потерями: каждая единица представляется распределением своих контекстов и сжимается до короткого кода. Эти коды передаются на следующий уровень как новые символы.

Второй этап, по сути, формирует векторные представления из контекстной статистики. Близость в таком пространстве означает похожесть употребления. Автор рассчитывает, что это даст гибкость, которой не хватало чистому символьному ИИ. Обобщение же должна обеспечить сама иерархия слоёв.

Где нейросимвольный ИИ Шумского пока буксует?

Автор, по свидетельству источника, честно признаёт ограничения проекта и ищет инженерные решения. Вот ключевые проблемы:

• Редкие смыслы выпадают. Статистическая система игнорирует то, что встречается редко. У команды есть методика «размножения» таких единиц, но это фактически ручная работа с данными. Часть различений производит не модель, а человек, что возвращает к старой проблеме символьного ИИ: необходимости ручного формирования правил.

• Антонимы неразличимы. Косинусное сходство (метрика, измеряющая похожесть двух векторов по углу между ними) плохо работает с противоположностями. «Сегодня очень холодно» и «сегодня очень жарко» оказываются в одинаковом контексте, и система считает их близкими, хотя значения противоположны. То же с отрицанием: «работает» и «не работает» стоят в одних конструкциях. Эта проблема знакома разработчикам RAG-систем (дополнение ответов модели внешними документами), но при агрессивном сжатии Шумского она обостряется.

• Потери копятся от слоя к слою. На каждом уровне сжатие с потерями передаёт наверх только то, что помогает предсказанию. Различения, не влияющие на продолжение, отбрасываются. Каждый уровень работает с проекциями проекций.

• Пирамида может не вырасти. Единица окупается, если даёт экономию на длине, а экономия пропорциональна числу вхождений. Морфем в языке тысячи, и они встречаются миллионы раз. Фраз уже миллионы, и частота их резко падает. Предложения из-за комбинаторики практически уникальны. На верхних уровнях повторяемости может не хватить для формирования устойчивых единиц.

Что это значит для вас?

Авторам Дзена и копирайтерам. Нейросимвольный ИИ пока не даёт готового инструмента для генерации текстов. Но сам принцип послойного сжатия полезно понимать: он объясняет, почему трансформеры галлюцинируют (предсказывают токен за токеном без жёсткой структуры) и чем может отличаться следующее поколение моделей. Если концепция дозреет, модели на CPU станут доступны без подписок и без облака.

Маркетологам и предпринимателям в РФ и СНГ. Главная практическая ценность подхода Шумского: отсутствие требований к GPU. Российские компании, у которых нет доступа к кластерам NVIDIA из-за санкционных ограничений, получают потенциальное направление для собственных разработок. Пока это исследование, не продукт. Но если послойное сжатие на CPU покажет приемлемое качество хотя бы на узких задачах (классификация, извлечение сущностей), экономия на инфраструктуре будет кратной.

Всем, кто следит за рынком ИИ. Из доступных в РФ решений YandexGPT и GigaChat остаются основными рабочими инструментами. Проект Шумского не конкурирует с ними сегодня, но показывает, что альтернативы трансформерам исследуются в том числе российскими учёными.

Для тех, кто работает с ИИ в условиях ограниченных ресурсов, проект Шумского формулирует правильный вопрос: обязательно ли платить за миллиарды параметров и GPU-кластеры, чтобы получить рабочую языковую модель. Ответа пока нет, но сам вопрос уже стоит внимания.

По данным блога Алексея Хахунова