Data Mining fRTS: тренд и флет ч.1

Сегодня я хотел бы поговорить о внутренних параметрах fRTS, а именно о его склонности к трендовым и флетовым дням.

Скачать минутки frts: https://drive.google.com/file/d/0B9zer9va_1aoQkR2SEktLWx0QU0/edit?usp=sharing
Скачать исходный код: https://drive.google.com/file/d/0B9zer9va_1aoWkFUV191S3BBUFk/edit?usp=sharing

Итак на текущий момент мы выяснили что 20% самых трендовых дней на фРТС закрываются с рейнджем от 3164п.

Продолжение следует.

p.s. спасибо

meteop_x и Udgin за найденную ошибку.

data mining datamining анализ данных датамайнинг объемы статистика торговые роботы торговые системы Марсель Тазетдинов ya-marsel трендовые дни флет тренд r language

Marsel Tazetdinov

172

3 193

с 16 января 2011

69 Комментариев

anatolyutkin
09 января 2014, 14:38
Насколько я понял (я этот язык не знаю, поправьте если что), анализ заключается в сравнении abs(close-open) с high-low. И если тело свечи больше 0.8 ее размаха, то день называется трендовым, если от 0.4 до 0.8--что-то невнятное, менее 0.4--флэт.

Вопросы:
1) Какова будет ваша статистика для броуновского движения? Имхо, она близка к вашей (20-40-40), хотя могу ошибаться. Надо бы это проверить, иначе это все не имеет особого смысла.

2) Какова стабильность вашей статистики в зависимости от размера и положения временного окна?
0
- Marsel Tazetdinov
  09 января 2014, 14:54
  anatolyutkin,
  1) можно проверить конечно, правда я делал сравнительный анализ со SPY и там все сильно по другому, т.е. различия точно будут, что с вашим вопросом, подумаю да, возможно в след. посте можно будет сравнить.
  
  2) Как раз об этом хотел написать в следующем посте, т.к. насколько я помню от 2011 года к 2013 ситуация менялась. Насчет положения, имхо логично брать не менее года за отрезок, если брать какой-то из кварталов возможно статистика будет отличаться, опять же если брать в расчет только 2013 год, скорее всего там будет тоже иначе. Я же решил показать усредненно, как изменился рынок после 2010 года.
  0
  - Marsel Tazetdinov
    09 января 2014, 14:59
    Марсель Тазетдинов, upd:
    2) Хотя целесообразнее было бы просто взять какое-то кол-во данных из этого же отрезка, только рандомизированно, тогда будет больше похоже на честный эксперимент.
    0
  - anatolyutkin
    09 января 2014, 15:08
    Марсель Тазетдинов, Ясно. По СБ--оно как бы является эталоном. Если что-то отличается от СБ--то имеет смысл рыть это дальше. А если не отличается--то смысла нет. Поэтому, имхо, расчеты типа приводимых вами всегда надо сравнивать в первую очередь с СБ, а уж потом выяснять SPY или росрынок или оба сразу отличаются от СБ.
    
    Еще один момент. Во всех подобных вещах (если это чистый майнинг без каких-то идей под ним) надо оценивать не только саму величину статистики, но и ее ошибку. Что-нибудь типа хотя бы обычного доверительного интервала для нормальных распределений. Иначе совсем не понятно, насколько точны эти цифры--может там 20 плюс минус 20 процентов трендовых дней.
    0
    - Marsel Tazetdinov
      09 января 2014, 15:12
      anatolyutkin,
      1) хорошее замечание да
      2) t-value?
      0
      - anatolyutkin
        09 января 2014, 15:30
        Марсель Тазетдинов, Не знаю, подойдет ли Стьюдент, я с процентилями не работал особо. В любом случае, в рамках классической статистики эта задача решена давно, хоть с процентилями, хоть с чем.
        0
Иван Коваль-Зайцев
09 января 2014, 15:16
Красавец!
+1
Магистр Йода
09 января 2014, 15:30
Циклы в векторах — это Вас так бабушка кодить учила?
0
- Marsel Tazetdinov
  09 января 2014, 15:33
  Магистр Йода, прекрасно понимаю как использовать apply() но он для новичков не слишком очевиден в качестве примера.
  0
Rustem
09 января 2014, 17:09
проводил исследование на трендовость фРТС, по сравнению с др. инструментами (Small Range (SR < 25), Large Range (LR > 75) )

drive.google.com/file/d/0B9bGdqPcGtzXMk1rc2tRNHg3NDA/edit?usp=sharing

надо бы обновить анализ, т.к. выше данные до 2010 года.

Вообще, и без анализа видно что за последний год количество трендовых дней существенно уменьшилось, до 1 раз в месяц.
+1
- Rustem
  09 января 2014, 17:36
  Пересчитал стату по фРТС — Трендовых дней (LR > 75) за 2011-2012 было 8.7%, а за 2013 — 7.6%.
  
  Сравните как было до 2010 — 15%.
  На 2013 уменьшилось в 2 раза. При этом методика по дневным свечкам. Если считать LR > 85, то их ещё меньше.
  0
  - Marsel Tazetdinov
    09 января 2014, 17:45
    Rustem, кстати если еще геп вырезать, то будет еще более печально
    0
- Marsel Tazetdinov
  09 января 2014, 17:44
  Rustem, согласен, ри меняется в сторону MR
  0
  - Rustem
    09 января 2014, 17:51
    Марсель Тазетдинов, до 2010 фРТС был лидером по LR, сейчас аутсайдер. Скорее завязано на то, что ушли крупные спекулянты и идет продажа волатильности маркетмейкерами.
    0
    - Marsel Tazetdinov
      09 января 2014, 17:56
      Rustem, это да, кстати многие «алготрейдеры» после 2010 как раз и ушли :)
      0
Udgin
09 января 2014, 20:10
По моему в коде есть логическая ошибка.
Сначала, Вы считаете процентили исходя из всего набора данных. А далее исходя из рассчитанных процентилей считаете количество дней, которые попадают в определенный процентиль (трендовые, флетовые). Но по определению процентиля в верхний 20% и должно попадать 20% всех значений, что вы и получили.
Правильно будет выбрать внешний критерий, или посчитать на предыдущих данных, что такое трендовый день и использовать эту информацию для Вашей выборки.
0
- Marsel Tazetdinov
  09 января 2014, 20:30
  Udgin, да, уже в жж написали, надо взять среднее приращение, и считать тренд допустим в среднее приращение * 2, а флет среднее приращение / 2, например, в следующем посте напечатаю поправку
  0
- Marsel Tazetdinov
  09 января 2014, 20:37
  Udgin, кстати спасибо за замечание, приятно что кто-то все таки посмотрел в код и задумался :)
  0
  - Udgin
    09 января 2014, 20:45
    Марсель Тазетдинов, посмотрел потому, что удивился, что кто-то на смарт-лабе анализирует ряды с помощью R.
    0
    - Marsel Tazetdinov
      09 января 2014, 20:53
      Udgin, :)
      0
А. Г.
09 января 2014, 20:19
Перед конференцией по алготорговле-2012 я проводил исследование дневок и минуток с 10:01 до 18:45 по двум характеристикам ряда приращений логарифмов:
1. смещение (критерий Стъюдента)
2. корреляция соседних приращений (критерий Фишера)

Брались 75% доверительные интервалы для этих характеристик на отрезках в 22 испытания и считались доли трех событий:
1. Интервалы для 1 и 2 содержат нуль (? — скорее всего СБ)
2. Интервал для 1 содержит нуль, а статистика Фишера для 2 указывает на значение меньше нуля — контртренд.
3. Остальное тренд.

Результаты в долях я приводил в своей презентации

www.howtotrade2007.narod.ru/articles/PresentAlgo.pdf

Для минуток внутри дня в 2008-2012 получилось:
Тренд ~19%
Контртренд ~38%
? — ~43%
0
- Marsel Tazetdinov
  09 января 2014, 20:34
  А. Г., помню вашу презентацию да, наглядно было. Правда касаемо моего поста, чуть выше и в ЖЖ нашли ошибку, для измернений я взял квантили .8,.6,.4,.2 результат сравнения с которыми дал ровно то что они и показали, 20% трендовых, 40% нетипизированных дней и 40% флетовых :) Буду поправлять.
  0
qqqqqqqq
13 января 2014, 23:17
useless junk
+1
qqqqqqqq
13 января 2014, 23:22
stop wasting ur time trying to find black cat in black room when there is no one. a lot of people made this before and no luck. there is no holy grail in any type of autoregressive stuff, believe me. better try to find exogenous predictors
+1
qqqqqqqq
13 января 2014, 23:33
(btw — almost every type of finance ts math u'll find in packages rMetrics quantmod & highfrequency or simply use «finance» task view on cran — just for R-lovers).
0