
EXX: мы запустили прогноз Bitcoin в Live — и рынок сразу начал портить нам красивый backtest
В прошлый раз мы писали об EXX ещё до полноценного запуска Live. Тогда у нас был довольно красивый исследовательский результат: направление Bitcoin модель предсказывала примерно на уровне монетки, зато вероятность сильного движения в будущем окне оценивала значительно лучше.
С тех пор произошло самое интересное: мы перестали спорить с историческими данными и включили модель в реальный рынок.
EXX — это исследовательская песочница рынка прогнозов Winion, где мы проверяем разные идеи на реальных данных и не пытаемся заранее решить, какой результат нам понравится. Мы строим продукты для людей, поэтому считаем нормальным показывать не только красивые backtest-графики, но и моменты, когда рынок начинает ломать наши гипотезы.
Мы довольно быстро отказались от классического вопроса: «Bitcoin пойдёт вверх или вниз?»
Наши direction-модели дают AUC около 0,52 — практически уровень случайного угадывания. Поэтому рассказывать, что мы построили AI, который знает направление следующей свечи, было бы откровенной чушью.
Вместо этого EXX отвечает на другой вопрос:
Какова вероятность, что Bitcoin за следующие 15 минут пройдёт хотя бы 0,40% от текущей цены?
Направление здесь вообще не важно. Bitcoin может сначала упасть, потом вырасти, или сделать всё наоборот. Нас интересует сама амплитуда будущего движения.
Например:
BTCUSDT · 15 минут · P(range ≥ 0,40%) = 87%
Это уже не BUY/SELL-сигнал, а вероятность конкретного будущего события.
И вот здесь исторические данные выглядели действительно интересно.
На выборке с мая 2025 по август 2026 года, где было десятки тысяч прогнозов, базовое событие происходило примерно в 19% случаев. На слепой выборке EXX показывал около 0,88 ROC AUC, Brier Score около 0,097 и ECE около 0,009. Для прогнозов с вероятностью выше 90% фактический YES составлял около 96% при N ≈ 19 000 прогнозов.
Хорошо.
Но любой человек, который хоть раз строил модель для рынка, знает неприятную часть этой истории:
backtest закончился.
5 октября EXX начал публиковать реальные прогнозы до наступления события.
Каждый прогноз фиксируется заранее, после чего проходит время, закрывается окно и система автоматически записывает факт.
То есть теперь уже нельзя сказать:
«Мы знали, что Bitcoin сейчас дёрнется».
Если знали — прогноз уже должен лежать в журнале.
Если не знали — он там тоже останется.
И вот тут рынок довольно быстро начал портить нам красивую историческую картину.
Первые несколько тысяч 15-минутных окон оказались значительно спокойнее исторической выборки. Для порога 0,40% фактическая частота события сейчас находится примерно на уровне 8–9%, а средний прогноз EXX — около 8,5% против примерно 8,6% фактически.
То есть на уровне общей вероятности модель пока выглядит довольно интересно.
Но если посмотреть выше по шкале вероятностей, становится гораздо веселее.
Высокий хвост пока перегрет.
Когда EXX говорит о вероятности порядка 90%, событие происходит заметно реже, чем хотелось бы видеть для хорошо откалиброванной модели.
И это уже принципиально важнее любого красивого AUC.
Потому что в реальном рынке недостаточно уметь хорошо ранжировать события. Если модель говорит 90%, рынок должен довольно часто действительно давать эти 90%.
Именно здесь сейчас проходит настоящий эксперимент.
Это ещё один вопрос, который нам регулярно задают, и здесь тоже не хочется делать вид, что мы изобрели новую физику.
ATR — очень сильный и простой baseline для оценки текущей волатильности. В историческом исследовании EXX давал около 0,88 AUC против примерно 0,87 у ATR. В текущем тихом Live по горизонту 15 минут и порогу 0,40% мы находимся примерно около 0,82 AUC и не выглядим каким-то космическим скачком относительно ATR.
Поэтому я не собираюсь писать «мы убили ATR».
Не убили.
Разница в самой постановке задачи. ATR в первую очередь описывает уже наблюдавшееся движение рынка, а EXX пытается оценить вероятность конкретного движения в будущем временном окне.
И особенно интересен здесь мультигоризонт: 5 минут, 15 минут, 1 час и 4 часа.
Рынок может выглядеть совершенно мёртвым на ближайших 15 минутах, но при этом вероятность заметного движения в течение часа уже может существенно отличаться. Одним значением текущей волатильности такую картину описывать неудобно.
Первая — историческая.
Она говорит, что идея прогнозировать будущую амплитуду, а не направление, выглядит статистически перспективно.
Вторая — Live.
Она пока говорит: да, общая калибровка выглядит интересно, но модель ещё не доказала, что её историческое качество полностью переносится на текущий рынок.
И вот вторая история для меня гораздо интереснее первой.
Потому что на backtest можно получить практически любой красивый график, если достаточно долго экспериментировать с признаками, периодами и параметрами.
А Live ничего не знает о том, насколько красиво выглядел твой research notebook.
Он просто наступает завтра и говорит: ну давай, покажи.
EXX изначально задуман не как очередной «AI-трейдер», который обещает пользователю заработать деньги.
Это исследовательская песочница рынка прогнозов Winion. Мы проверяем здесь идеи вокруг вероятностей, волатильности, арбитража, моделей принятия решений и вообще пытаемся понять, где в рынках прогнозов появляется реальное преимущество.
Поэтому нам интересен сам процесс.
Если модель говорит 70% — это можно проверить.
Если ATR говорит одно, а EXX другое — это можно проверить.
Если исторический результат не повторяется в Live — это тоже результат.
Мне вообще кажется, что в индустрии слишком много исследований заканчиваются ровно там, где начинается самое интересное: публикуется backtest, показывается красивый график с высокой точностью, а дальше предлагается купить подписку.
Мы решили сделать наоборот.
Сначала показать гипотезу. Потом запустить её в реальность. А затем публично посмотреть, была ли она вообще правильной.
Сейчас EXX находится именно в этой точке.
Исторические данные говорят, что направление Bitcoin предсказывать почти бессмысленно, а вероятность будущей амплитуды — значительно интереснее.
Live пока не разрушил эту идею, но уже показал, где у модели есть проблемы с калибровкой.
И теперь у нас есть самое интересное, чего не было в предыдущей статье:
мы больше не знаем результат заранее.
Рынок сам допишет следующую часть исследования.