Способ избавиться от шума в ценовых данных

алготрейдинг нейронные сети выбросы пробои шум

bascomo

Москва

337

3 267

с 20 июня 2020

29 Комментариев

SergeyJu
12 марта 2021, 12:55
На картинках уже плохо отработала система устранения выбросов. Потому, наверное, что алгоритм все размазывает, не разбираясь, есть выброс или нет. Впрочем, ценовые данные другие, попробуйте, вдруг Вам повезет.
+2
- bascomo
  12 марта 2021, 14:44
  SergeyJu, идеал недостижим в принципе, но можно, используя этот подход, существенно улучшить результаты, по крайней мере, сейчас я думаю именно так. Практика покажет.
  0
Susanin
12 марта 2021, 13:34
заранее понять выброс это или нет невозможно. будет все равно 50 на 50.
0
- bascomo
  12 марта 2021, 14:48
  Susanin, это мы проверим, на 30 наиболее ликвидных акциях и 10 фьючерсах.
  0
  - Susanin
    12 марта 2021, 15:22
    bascomo, попробуйте. если вы думаете что будущие приращения зависят от прошлых вас ждет большое разочарование.
    0
    - bascomo
      12 марта 2021, 15:57
      Susanin, я не собираюсь прогнозировать как абсолютные или относительные значения приращений, так и абсолютное значение цены, мне это не интересно. Тут речь шла ровно про то, чтобы убрать шум.
      0
      - Susanin
        12 марта 2021, 16:01
        bascomo, так это тоже самое. отличить шум можно только пост фактум.
        0
        bascomo
        12 марта 2021, 16:06
        Susanin, правильно и хорошо обученная нейросеть может убирать его и в реальном времени. Ну в доли секунды.
        0
        SergeyJu
        12 марта 2021, 18:29
        bascomo, попробуйте самыми простыми словами описать, что в ценах есть сигнал.
        0
        bascomo
        12 марта 2021, 18:43
        SergeyJu, сигналы мы придумываем сами. Я бы даже сказал, мы придумываем то, что можно назвать сигналами, придумывая, таким образом, и сами сигналы.
        
        Вот вам сигналы, например. Даже закодированные в 0 или 1 — как раз тот формат, который так любит кушать нейросеть.
        
        0
        SergeyJu
        13 марта 2021, 10:12
        bascomo, то есть Вы считаете, что в данных (в ценах) только шум, сигнала вообще нет. А сигналы — это привнесенные нашим разумом артефакты?
        0
        bascomo
        13 марта 2021, 11:02
        SergeyJu, это философский вопрос, но да, если быть последовательным, то весь мир вокруг — то, как мы его видим, чувствуем и понимаем — это продукт нашего разума. И если, к примеру, солнечная система существует безотносительно человека, то понятие «цена» придумано им, как и биржи, котировки и сигналы.
        0
        SergeyJu
        13 марта 2021, 11:37
        bascomo, все стандартные методы выделения сигнала на фоне шума базируются на их статистически значимых различиях. И чем более сигнал не похож на шум, тем лучше можно построить выделитесь. Незнание природы сигнала нисколько не облегчает его выделение. Скорее, делает всю поисковую деятельность совершенно случайной.
        +1
        bascomo
        13 марта 2021, 12:00
        SergeyJu, а я вот обнаружил в прошлом месяце, что именно направленная случайность делает поисковую деятельность максимально эффективной. Генетика. Напишу в следующем посте, хотя желания всё меньше и меньше. На этом сайте всегда были так много троллей? У некоторых ЧС из тысяч. Это за гранью.
        0
        SergeyJu
        13 марта 2021, 13:44
        bascomo, у меня ЧС под тысячу. Ненавижу пустой треп и пропаганду.
        +2
SAlex
12 марта 2021, 15:49
На истории и так видно, был это шип или нет. Смысл исторический график сглаживать? Ну уж если так хочется - да, обычная ma. А здесь нужно чтобы нейросеть в реальном масштабе времени говорила — это движение ложное, не бойся, сейчас назад откатит.
0
- bascomo
  12 марта 2021, 16:00
  SAlex, проблема ma в том, что она всегда опаздывает, даже ema. А смысл не в том, чтобы исторический график сглаживать, а в том, чтобы обучить на истории модель, а после подсовывать обученной модели данные в реальном времени для оценки, чтобы она говорила, игнорировать этот пробой или выброс или нет. Она не определит это со 100%-й вероятностью, как и ни одна нейросеть в мире не работает со 100%-й вероятностью, но мне нужно просто увеличить вероятность правильных действий. И если она в этом хоть на 10% поможет — это уже прекрасно.
  0
  - SAlex
    12 марта 2021, 16:08
    bascomo, тогда аналогия с сетью неверна. Вы же скармливаете сети фото целиком и говорите «убери артефакты». Она аппроксимирует соседние участки и убирает найденный артефакт. В вашем случае, аналогия другая — вы даете фото постепенно, пиксель за пикселем, а нейросеть вдруг раз, и говорит что пиксель неверный. Это немного другая задача.
    0
    - bascomo
      12 марта 2021, 16:16
      SAlex, нет, не так.
      Берём, например, минутные бары за, скажем, последние полгода.
      Выбираем размер окна, например, 60 баров — 1 час. Это и есть аналог картинки.
      Готовим обучающий датасет: с 1 по 60 бар, потом со 2 по 61-й и так до конца выборки. И все эти семплы подаём на вход сети.
      
      А когда предсказываем — подаём последние 60 баров, включая текущий.
      
      P.S. Нейросеть, результаты работы которой представлены выше, обучалась на 13223 картинок из базы лиц знаменитостей http://vis-www.cs.umass.edu/lfw/#download. И вот эти знания она применила, чтобы убрать артефакты на тех 5 фото, что я «зашумил» чёрными квадратами случайных размеров и со случайным расположением.
      0
      - SAlex
        12 марта 2021, 16:25
        bascomo, во-первых, просто подать кучу серий из 60-ти баров какой смысл? Из них надо вырезать шипы, чтоб нейросеть поняла что такое эталонный график. Так же как и в случае фото — в обучающих небыло черных прямоугольников, поэтому сеть и посчитала их артефактами. Во-вторых, полученная нейросеть в боевом режиме тупо сгладит поданные ей последние 60 баров, и что.
        0
  - Beach Bunny
    12 марта 2021, 16:17
    bascomo, есть MA на базе цифровой обработки сигнала, задержки вроде получаются в полбара, но это особых преимуществ не дает.
    0
    - bascomo
      12 марта 2021, 16:20
      Sergeyka, это что такое?
      0
      - Beach Bunny
        12 марта 2021, 16:29
        bascomo, что имено? Есть ЦОС фильтры Баттерворта, есть SuperSmother от Эллерса, есть фильтр Калмана => Optimal Tracking Filters.doc
        На TradingView куча примеров и у Чечета (https://chechet.org/) есть курс по ЦОС в трейдинге.
        0
    - ch5oh
      12 марта 2021, 19:10
      Sergeyka, «задержка полбара»? Звучит слишком хорошо, имхо.
      +1
    - ch5oh
      12 марта 2021, 19:11
      Sergeyka, ПС И очень странно, почему уменьшение задержек фильтров не приводит к повышению эффективности ТС?.. Получается, что при этом слишком много шума начинает пролезать?..
      +1
      - SergeyJu
        13 марта 2021, 10:16
        ch5oh, именно так. Стандартный фильтр, который «без задержки» по сути есть комбинация сглаживателя и оценки производной (скорости), взятых в некоторыми весами. Как следствие, инерция первой компоненты и шум второй.
        +3
Павел Град
23 марта 2021, 06:54
У меня есть методика защиты от ложного срабатывания стопа.

Заключается в том, что любую покупку стоит совершать при «бычьей» дивергенции, в таком случае стоп вообще не надо ставить. Если дивергенция сразу сработала, то у нас часть позиции уходит практически сразу в плюс (позиция делится), если происходит прокол вниз, так называемый сквиз, то образуется шип, на самом шипе мы покупаем 2-ю часть (как правило на самом конце шипа), дополнительно можно использовать ещё 3-ю часть, но при условии, что цена становится чуть выше 1-й покупки.

Смысл в том, что дивергенция всегда в 100% случаев себя отрабатывает в самом конце тренда, не важно восходящего или нисходящего, но работает лучше в самом конце нисходящего тренда.

Можете закодировать и проверить сами.

Если покупаете где попало, то стоп обязателен!
0

Читайте на SMART-LAB:

Превью отчета Аэрофлота по МСФО за 2025 год.

Аэрофлот 4-го марта опубликует отчет по МСФО за 2025 год. Ожидаются слабые результаты на фоне замедления темпов роста выручки и значительного снижения топливного демпфера. Выручка...

Mozgovik

15:19

Brent по $90, Urals по $61, а золото по $6000: к чему может привести конфликт на Ближнем Востоке

Из-за известных военных событий вокруг Ирана в начале недели произошел скачок цен на нефть на 8,5%: стоимость Brent достигла $80/барр. – самый высокий уровень с января 2025 года. Активные...

Финам Брокер

11:08

🛒 Фикс Прайс остался без "органики"

Ретейлер представил отчет по МСФО за 4 квартал и весь прошлый год Фикс Прайс (FIXR) ➡️ Инфо и показатели Результаты за 4 квартал — выручка: ₽85,5 млрд (+2,6%) — скорр....

Market Power

13:00

Мой Рюкзак #64: Усиление в банковском секторе в ожидании справедливой переоценки

Февраль продолжает радовать стоимостных и смелых инвесторов Прошлый пост тут — smart-lab.ru/company/mozgovik/blog/1265828.php Было 26,3 млн на 13.02.25 Стало...