Охота на призраков. Зачем и как отделять сигнал от шума на рынке

Статья написана партнёром FO ABTRUST Евгением Ерофеевым.

Любой, кто смотрел на ценовой график, видел: цены не ходят плавно. Они «дёргаются», «дрожат», делают резкие пики. Вопрос — что за этим стоит?

(В статье «Порядок в хаосе. Почему рынок не подчиняется линейным правилам и как это использовать трейдеру [1]» мы поговорили, что финансовый рынок — это не генератор случайных чисел, а сложная система с внутренней логикой (её называют аттрактором). Но есть проблема: мы никогда не видим эту логику в чистом виде. График цен всегда «дрожит» и «размывается» из-за бесчисленных случайных толчков — новостей, паники трейдеров, массовых срабатываний стоп-лоссов и т.п.)

Одна из гипотез: за случайными на вид движениями скрывается внутренняя логика — нелинейная система, которую можно описать и прогнозировать. Другая (и не менее правдоподобная): рынок — стохастическая система, где дёрганье — это и есть вся реальность, а никакого «скрытого сигнала» нет.

Фильтрация имеет смысл, только если верна первая гипотеза. Если реальность случайна — очистка данных не поможет, а может и навредить. Но вот что важно: даже если вы не уверены, сама процедура фильтрации работает как диагностический тест. Применили — прогноз улучшился? Значит, что-то детерминированное там было. Не улучшился — возможно, никакого скрытого аттрактора (системы с внутренней логикой) нет, и не надо мучить данные дальше.

Главная ловушка: скользящая средняя 

Первое желание — сгладить график скользящей средней. Но это как пройтись утюгом по кардиограмме: острые зубцы (возможно, важные) исчезнут, а гладкая линия создаст ложное чувство понятности.

Хаотический сигнал по природе «изрезан». Если его разгладить — он перестаёт быть хаосом. Тонкая структура теряется безвозвратно.

SSA: разобрать и собрать заново

SSA, или «Гусеница», разбирает график на составные части: вот тренд, вот цикл, вот шумовая рябь. Ключевое отличие от скользящей средней: SSA ничего не «размазывает» — сумма выделенных частей даёт ровно исходный ряд. Можно осознанно отбросить только явный мусор, оставив всё подозрительное.

Это хороший первый шаг, но не более. Хаотические движения могут «размазаться» по десятку деталей, и есть риск выбросить что-то важное. SSA — отличный черновой фильтр, но не финальный.

Вейвлеты: микроскоп вместо утюга

Вейвлеты раскладывают сигнал на разные масштабы — от крупных движений до микро-ряби. Случайная дрожь (мелкая и бесструктурная) обнуляется, а резкие, но закономерные всплески остаются.

Хорошо работают, когда шум явно отличается от сигнала по амплитуде. Но финансовый шум не всегда бывает «мелким» — иногда он кластеризуется и маскируется под сигнал. Тут вейвлеты могут ошибиться.

Локальная проекция: геометрия против шума

Геометрический метод: точки на графике «прижимаются» к невидимой траектории, убирая боковые отклонения. Самый строгий подход, но и самый капризный: параметры метода зависят от уровня шума, а уровень шума мы оцениваем по тем же данным. Для первого знакомства лучше начать с SSA или вейвлетов.

Наглядное сравнение четырёх подходов на дневных данных SPY. Скользящая средняя (B) убивает тонкую структуру — линия становится вялой. SSA © и вейвлет (D) сохраняют изломы хаоса, убирая только случайную «дрожь». 

Подводный камень: шум сегодня — сигнал завтра

Ок, мы почистили данные одним из трёх методов. Но рано радоваться.

В молекулярной физике шум — это тепловые колебания, не влияющие на макроскопическое поведение. В финансах всё сложнее: мелкие сделки могут запустить цепную реакцию и перерасти в новый тренд. То, что мы сегодня назвали шумом и отбросили, завтра может оказаться началом движения.

Более того, существуют альтернативные модели (GARCH, regime-switching), которые объясняют те же рыночные феномены без привлечения теории хаоса. И они иногда работают лучше.

И ещё: последние точки графика — самые важные для прогноза — сильнее всего искажаются при фильтрации. Любой метод «мажет» на краях. Это надо держать в голове.

Как проверить, что фильтрация не навредила

1. Отброшенное. То, что мы назвали шумом, должно быть действительно случайным. Если там обнаружилась закономерность — мы ошиблись.

2. Оставшееся. Очищенный сигнал должен остаться живым и изрезанным. Стал гладким и вялым — перестарались.

Фазовый портрет SPY до и после вейвлет-фильтрации. Слева — «пушистое» облако из-за шума, справа — тонкая структура аттрактора. Если бы фильтр убил хаос, правая картинка превратилась бы в точку или прямую линию.

3. Прогноз. Самая честная проверка: спрогнозировать очищенный ряд и сравнить с сырым. Если точнее — фильтрация помогла. Если хуже — мы удалили полезное.
4. Альтернативы. Сравнить с результатом простой стохастической модели — например, ARIMA или GARCH. Если она справляется не хуже — возможно, никакого скрытого хаоса нет, и вы зря потратили время на фильтрацию.

С чего начать, если хочется попробовать

SSA — самый forgiving метод для новичка: даже с настройками по умолчанию он не испортит данные так фатально, как скользящая средняя. В R — пакет Rssa, в Python — pyts. Для вейвлетов — PyWavelets (Python) или WaveletComp ®. Начните с SSA, примените проверку прогнозом — и если улучшения нет, честно признайте: возможно, призраков не существует.

Итог

Фильтрация финансовых рядов — это не кнопка «сделать красиво». Это исследовательская процедура, которая может как открыть скрытые закономерности, так и создать иллюзию там, где их нет.

Лучший подход — консервативный: оставить немного шума, чем удалить слабый, но реальный сигнал. И всегда помнить, что рынок может оказаться сложнее наших моделей.

Полезные ссылки:

[1] Порядок в хаосе! Почему рынок не подчиняется линейным правилам и как это использовать трейдеру.