Квант-исследователь разобрал 9 лет данных ADA: модель с точностью 92 % теряет 80 % денег в год

Автор описывает разведочный анализ биржевых данных, то есть поиск закономерностей без заранее заданной гипотезы. Он собрал данные, перевёл график цены в «текст» для трансформера и устроил эволюцию формул. Отдельно он проверил Луну и ретроградный Меркурий и разобрал три статистические ловушки. Его итог прямой: «Грааль не найден». Зато стало понятно, где его точно нет.

Что измеряли?

Квант-исследователь строит торговые правила на математике и данных, а не на интуиции. По словам автора, большую часть времени такой специалист «пытается поймать за руку самого себя». Данные он называет «превосходными лжецами»: если долго их пытать, они признаются в чём угодно.

Весь путь, от сбора до моделей, прошёл через одни руки. Собирали пять слоёв:

• биржевые данные: сделки, свечи и стаканы (списки заявок на покупку и продажу) раз в секунду;
• деривативы: фандинг (плата между ставящими на рост и на падение раз в 8 часов), открытый интерес (сколько контрактов открыто всего) и соотношение лонгов и шортов толпы;
• блокчейн: собственная нода сети, блоки, переводы, движение монет на биржи и с бирж;
• внешний фон: рынки США, доллар, VIX (так называемый индекс страха), золото, нефть;
• тексты: новости, Reddit, GDELT (глобальная база новостей мира).

Главный инструмент здесь трансформер. Это архитектура нейросети, которая читает последовательности. Цену переводили в подобие текста, чтобы модель «читала» график как фразу.

Модель проверяли методом walk-forward. Она учится только на прошлом и проверяется на следующем отрезке, и так шаг за шагом. Так снижается риск переобучения, когда модель заучивает шум, как студент, вызубривший прошлогодние ответы.

Что обнаружили?

• Точность не равна прибыли. Модель угадывает 92 % случаев и при этом теряет 80 % денег в год. Объяснение этого парадокса автор обещает в разборе.
• Чистые данные стоят больше модели. Часы бирж расходятся на сотни миллисекунд, и «одновременные» события оказываются неодновременными.
• Одна биржа живёт в прошлом. Она отдаёт свежие данные только месячными архивами, поэтому «сейчас» у неё наступает в начале следующего месяца.
• Мелочи ломают конвейер. Антивирус проверял каждый новый файл, и запись вставала на 32 секунды.
• Слишком хороший результат подозрителен. Шарп (доход на единицу тряски) 1 автор считает хорошим, 2 отличным, а от 3 и выше видит «либо гения, либо ошибку, либо везение». IC (связь прогноза с тем, что случилось потом) 0,05 уже рабочий сигнал, а 0,3 «почти наверняка ошибка в коде».
• Порог монетки. AUC (вероятность, что модель отличит рост от падения) 0,5 означает подбрасывание монетки, 1 означает ясновидение.

Деталь из практики говорит больше любого графика: лучшей строчкой дня автор называет «Проблем: 0» в логе проверки качества. Против грязных данных он поставил сторож процесса, атомарную запись, повторы и ежечасную проверку.

Что это значит для вас?

Разбор «монетка, толпа и трансформер» полезен даже тем, кто никогда не торговал. Главная мысль переносится на любую работу с данными: красивый график и высокая точность ещё не доказательство.

Автору Дзена. Это готовая тема для честного материала про финансы и ИИ. Вам пригодятся словарь терминов из статьи и цифры «92 % точности и минус 80 % в год», которые разбивают миф о нейросети, видящей будущее.

Маркетологу. Та же ловушка живёт в аналитике кампаний. Если долго перебирать срезы, какой-нибудь обязательно «сработает», поэтому проверяйте гипотезу на новом отрезке времени, а не на тех данных, где её нашли.

Предпринимателю и частному трейдеру из РФ и СНГ. Плечо из словаря автора умножает и прибыль, и убыток: при плече 10 движение цены на 1 % даёт 10 %. Комиссия около 0,14 % за вход и выход съедает частые сделки. Бэктест автор называет «главным жанром финансовой фантастики».

Мой совет простой: прежде чем доверить деньги любой модели, спросите, сколько она теряет после комиссий и на данных, которых не видела. Ответа нет, значит нет и стратегии.

По данным авторской публикации квант-исследователя о девяти годах данных ADA