EXX market
EXX market личный блог
Сегодня в 15:36

Мы потратили месяцы, чтобы научить AI предсказывать Bitcoin. Потом поняли, что вопрос был неправильным


Мы потратили месяцы, чтобы научить AI предсказывать Bitcoin. Потом поняли, что вопрос был неправильным

EXX: мы запустили прогноз Bitcoin в Live — и рынок сразу начал портить нам красивый backtest

В прошлый раз мы писали об EXX ещё до полноценного запуска Live. Тогда у нас был довольно красивый исследовательский результат: направление Bitcoin модель предсказывала примерно на уровне монетки, зато вероятность сильного движения в будущем окне оценивала значительно лучше.

С тех пор произошло самое интересное: мы перестали спорить с историческими данными и включили модель в реальный рынок.

EXX — это исследовательская песочница рынка прогнозов Winion, где мы проверяем разные идеи на реальных данных и не пытаемся заранее решить, какой результат нам понравится. Мы строим продукты для людей, поэтому считаем нормальным показывать не только красивые backtest-графики, но и моменты, когда рынок начинает ломать наши гипотезы.

Что именно мы пытаемся предсказать

Мы довольно быстро отказались от классического вопроса: «Bitcoin пойдёт вверх или вниз?»

Наши direction-модели дают AUC около 0,52 — практически уровень случайного угадывания. Поэтому рассказывать, что мы построили AI, который знает направление следующей свечи, было бы откровенной чушью.

Вместо этого EXX отвечает на другой вопрос:

Какова вероятность, что Bitcoin за следующие 15 минут пройдёт хотя бы 0,40% от текущей цены?

Направление здесь вообще не важно. Bitcoin может сначала упасть, потом вырасти, или сделать всё наоборот. Нас интересует сама амплитуда будущего движения.

Например:

BTCUSDT · 15 минут · P(range ≥ 0,40%) = 87%

Это уже не BUY/SELL-сигнал, а вероятность конкретного будущего события.

И вот здесь исторические данные выглядели действительно интересно.

На выборке с мая 2025 по август 2026 года, где было десятки тысяч прогнозов, базовое событие происходило примерно в 19% случаев. На слепой выборке EXX показывал около 0,88 ROC AUC, Brier Score около 0,097 и ECE около 0,009. Для прогнозов с вероятностью выше 90% фактический YES составлял около 96% при N ≈ 19 000 прогнозов.

Хорошо.

Но любой человек, который хоть раз строил модель для рынка, знает неприятную часть этой истории:

backtest закончился.

Поэтому мы включили Live

5 октября EXX начал публиковать реальные прогнозы до наступления события.

Каждый прогноз фиксируется заранее, после чего проходит время, закрывается окно и система автоматически записывает факт.

То есть теперь уже нельзя сказать:

«Мы знали, что Bitcoin сейчас дёрнется».

Если знали — прогноз уже должен лежать в журнале.

Если не знали — он там тоже останется.

И вот тут рынок довольно быстро начал портить нам красивую историческую картину.

Первые несколько тысяч 15-минутных окон оказались значительно спокойнее исторической выборки. Для порога 0,40% фактическая частота события сейчас находится примерно на уровне 8–9%, а средний прогноз EXX — около 8,5% против примерно 8,6% фактически.

То есть на уровне общей вероятности модель пока выглядит довольно интересно.

Но если посмотреть выше по шкале вероятностей, становится гораздо веселее.

Высокий хвост пока перегрет.

Когда EXX говорит о вероятности порядка 90%, событие происходит заметно реже, чем хотелось бы видеть для хорошо откалиброванной модели.

И это уже принципиально важнее любого красивого AUC.

Потому что в реальном рынке недостаточно уметь хорошо ранжировать события. Если модель говорит 90%, рынок должен довольно часто действительно давать эти 90%.

Именно здесь сейчас проходит настоящий эксперимент.

А что с ATR?

Это ещё один вопрос, который нам регулярно задают, и здесь тоже не хочется делать вид, что мы изобрели новую физику.

ATR — очень сильный и простой baseline для оценки текущей волатильности. В историческом исследовании EXX давал около 0,88 AUC против примерно 0,87 у ATR. В текущем тихом Live по горизонту 15 минут и порогу 0,40% мы находимся примерно около 0,82 AUC и не выглядим каким-то космическим скачком относительно ATR.

Поэтому я не собираюсь писать «мы убили ATR».

Не убили.

Разница в самой постановке задачи. ATR в первую очередь описывает уже наблюдавшееся движение рынка, а EXX пытается оценить вероятность конкретного движения в будущем временном окне.

И особенно интересен здесь мультигоризонт: 5 минут, 15 минут, 1 час и 4 часа.

Рынок может выглядеть совершенно мёртвым на ближайших 15 минутах, но при этом вероятность заметного движения в течение часа уже может существенно отличаться. Одним значением текущей волатильности такую картину описывать неудобно.

Теперь у нас есть две истории вместо одной

Первая — историческая.

Она говорит, что идея прогнозировать будущую амплитуду, а не направление, выглядит статистически перспективно.

Вторая — Live.

Она пока говорит: да, общая калибровка выглядит интересно, но модель ещё не доказала, что её историческое качество полностью переносится на текущий рынок.

И вот вторая история для меня гораздо интереснее первой.

Потому что на backtest можно получить практически любой красивый график, если достаточно долго экспериментировать с признаками, периодами и параметрами.

А Live ничего не знает о том, насколько красиво выглядел твой research notebook.

Он просто наступает завтра и говорит: ну давай, покажи.

Зачем мы это вообще публикуем

EXX изначально задуман не как очередной «AI-трейдер», который обещает пользователю заработать деньги.

Это исследовательская песочница рынка прогнозов Winion. Мы проверяем здесь идеи вокруг вероятностей, волатильности, арбитража, моделей принятия решений и вообще пытаемся понять, где в рынках прогнозов появляется реальное преимущество.

Поэтому нам интересен сам процесс.

Если модель говорит 70% — это можно проверить.

Если ATR говорит одно, а EXX другое — это можно проверить.

Если исторический результат не повторяется в Live — это тоже результат.

Мне вообще кажется, что в индустрии слишком много исследований заканчиваются ровно там, где начинается самое интересное: публикуется backtest, показывается красивый график с высокой точностью, а дальше предлагается купить подписку.

Мы решили сделать наоборот.

Сначала показать гипотезу. Потом запустить её в реальность. А затем публично посмотреть, была ли она вообще правильной.

Сейчас EXX находится именно в этой точке.

Исторические данные говорят, что направление Bitcoin предсказывать почти бессмысленно, а вероятность будущей амплитуды — значительно интереснее.

Live пока не разрушил эту идею, но уже показал, где у модели есть проблемы с калибровкой.

И теперь у нас есть самое интересное, чего не было в предыдущей статье:

мы больше не знаем результат заранее.

Рынок сам допишет следующую часть исследования.

Данная публикация является личным мнением автора. Мнение владельца сайта может не совпадать с мнением автора.
15 Комментариев
  • Александр Брут
    Сегодня в 16:13
    Зачем крипту, надо смотреть на других инструментах где исторических данных больше, а это молодой инструмент 
  • Я уверен, что у вас в руках инструмент, с которым вы не знаете как работать.
  • Маразм ваше идеи, которую вы оформили как секту заключается в том, что вы хотите из случайного движения цены на 15 мин графике получить трендовый хвост в высокой вероятностью. Алгоритмы давно бросают в рынок ордера случайным образом по объемам и диапазону цен. Непонятно что вы хотите получить во всем этом?

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн