JEPA-Anything: универсальные нейросети для 7 областей вместо отдельных моделей

Группа исследователей из PhAI Labs, Китайского университета Гонконга (CUHK), Фуданьского университета, Стэнфорда, Оксфорда и Принстона представила JEPA-Anything, открытый фреймворк для построения так называемых моделей мира, который работает одинаково в семи областях, от компьютерного зрения и молекулярной динамики до прогноза погоды и клинических данных, без переделки архитектуры под каждую задачу.

Для тех, кто не следит за аббревиатурами: JEPA (Joint-Embedding Predictive Architecture) переводится как «архитектура совместных вложений с предсказанием». Это способ обучения нейросети, при котором модель учится предсказывать скрытое представление данных, а не пиксели или символы напрямую. До сих пор каждую область приходилось адаптировать отдельно. JEPA-Anything предлагает единый рецепт.

Какую проблему решает JEPA-Anything?

Стандартная JEPA, например I-JEPA или V-JEPA 2, использует один предиктор, который выдаёт одно «монолитное» скрытое представление цели. Проблема в том, что сильные сигналы в данных (то, что меняется больше всего) забирают на себя всю ёмкость модели, а слабые, но важные закономерности получают противоречивые градиенты (сигналы обучения, которые тянут модель в разные стороны). Исследователи называют это «проблемой распределения ёмкости».

Решение называется OPF (Orthogonal Predictive Factorization, ортогональная предиктивная факторизация). Если совсем просто: вместо одного большого предсказания модель делает несколько маленьких, каждое в своём «подпространстве», и эти подпространства математически не пересекаются. В большинстве экспериментов таких факторов четыре (K = 4).

Три регуляризатора (штрафных функции) удерживают систему от деградации: один не даёт подпространствам слипаться, второй не даёт отдельным факторам «замолчать», третий не даёт энкодеру (кодировщику входных данных) схлопнуться. Вся эта дополнительная функция потерь просто прибавляется к стандартной функции потерь каждой конкретной области.

Насколько это стабильно? На тесте CITRIS Interventional Pong модель без ортогональности показала число обусловленности 438,52 (чем выше, тем хуже и нестабильнее), а ортогональная версия дала 1,00005, то есть практически идеальную устойчивость.

Что обнаружили?

Результаты разбиты на три группы.

Группа I: конечные предсказания.

• Кластеризация одиночных клеток (AvgBIO) выросла до 0,7752 против 0,7194 у Cell-JEPA.
• Корреляция Пирсона на данных Norman perturbation поднялась с 0,787 до 0,814.
• Прогнозирование более 1 000 клинических событий на базе UK Biobank (крупнейшая биомедицинская база Великобритании) дало mean PRAUC 0,718 против 0,711 у стандартной JEPA.

Группа II: динамика скрытых состояний.

• На Interventional Pong ошибка при одиночной интервенции снизилась на 34,83%, при комбинированных невиданных интервенциях на 12,90%, а шестишаговый свободный прогноз улучшился на 8,58%.
• Улучшения зафиксированы на всех десяти задачах динамики, включая бенчмарки CausalWorld, DeepMind Control, PDEBench и WeatherBench2.
• На APEBench Burgers ошибка шестишагового прогноза упала примерно на 44,7%.
• На 100-шаговых молекулярных симуляциях модель показала лучший MAE и RMSD на четырёх веществах: вода, кварц, парацетамол и бензол.

Группа III: научный анализ.

• Факторный анализ выявил комбинацию блокады IL-18 и CD73 как потенциальную противоопухолевую интервенцию. Лабораторные тесты подтвердили результат на клеточных ко-культурах, органоидах пациентов, фрагментах опухолей и мышах.
• Латентные орбитальные моды воспроизвели закон Кеплера: подобранный наклон составил минус 1,4991 при теоретическом минус 1,5.

Честная оговорка: в задачах планирования результаты неоднозначны. На Walker2d и HalfCheetah JEPA-Anything обошла стандартную JEPA при совпадении параметров с точностью до 0,3%, но на Hopper стандартная JEPA оказалась лучше.

Что это значит для вас?

Автору Дзена и копирайтеру. Универсальные нейросети типа JEPA-Anything пока не выдают текст или картинки напрямую. Но направление важно: если один фреймворк справляется с семью областями, через год-два инструменты для контента (генерация, редактура, анализ аудитории) перестанут быть «затычками» под одну задачу. Следите за тем, как мультимодальный подход просачивается в продуктовые модели.

Маркетологу. Предиктивные модели мира на клинических и молекулярных данных пока далеки от рекламных бюджетов, но экономика обучения меняется: одна архитектура вместо семи отдельных означает снижение стоимости и сроков разработки. Когда подобный подход дойдёт до прогнозирования поведения пользователей (а направление именно туда), переобучать модель под новый сегмент станет дешевле.

Исследователю и инженеру в России. Код открыт, лицензия Apache-2.0, чекпоинты лежат на Hugging Face. Архитектура напрямую применима к задачам, где нужен предиктивный фреймворк без переделки: медицинское прогнозирование (аналог UK Biobank есть в некоторых российских биобанках), прогноз погоды, молекулярное моделирование. Из доступных в РФ инструментов для схожих задач обучения можно использовать серверы с GPU через облака «Яндекса» и SberCloud, но архитектурных аналогов JEPA-Anything в открытом доступе на русскоязычном рынке пока нет.

Если вы работаете с предиктивными задачами в любой области, от медицины до физики, попробуйте применить OPF-факторизацию к своей стандартной JEPA-архитектуре: код открыт, функция потерь добавляется одной строкой, а условное число на Interventional Pong упало с 438 до единицы, и это аргумент сильнее любого маркетингового обещания.

По данным Marktechpost