<HELP> for explanation

Блог им. ya-marsel

Data Mining fRTS: тренд и флет ч.1

Сегодня я хотел бы поговорить о внутренних параметрах fRTS, а именно о его склонности к трендовым и флетовым дням.

Data Mining fRTS: тренд и флет ч.1
 Скачать минутки frts: https://drive.google.com/file/d/0B9zer9va_1aoQkR2SEktLWx0QU0/edit?usp=sharing
Скачать исходный код: https://drive.google.com/file/d/0B9zer9va_1aoWkFUV191S3BBUFk/edit?usp=sharing

Итак на текущий момент мы выяснили что 20% самых трендовых дней на фРТС закрываются с рейнджем от 3164п.

Продолжение следует.

p.s. спасибо Data Mining fRTS: тренд и флет ч.1
meteop_x и Udgin за найденную ошибку.
 

Stas Ivanov, ты имеешь ввиду зачем было минутки анализировать, если можно было взять дневки? Или что?
Насколько я понял (я этот язык не знаю, поправьте если что), анализ заключается в сравнении abs(close-open) с high-low. И если тело свечи больше 0.8 ее размаха, то день называется трендовым, если от 0.4 до 0.8--что-то невнятное, менее 0.4--флэт.

Вопросы:
1) Какова будет ваша статистика для броуновского движения? Имхо, она близка к вашей (20-40-40), хотя могу ошибаться. Надо бы это проверить, иначе это все не имеет особого смысла.

2) Какова стабильность вашей статистики в зависимости от размера и положения временного окна?
avatar

anatolyutkin

anatolyutkin,
1) можно проверить конечно, правда я делал сравнительный анализ со SPY и там все сильно по другому, т.е. различия точно будут, что с вашим вопросом, подумаю да, возможно в след. посте можно будет сравнить.

2) Как раз об этом хотел написать в следующем посте, т.к. насколько я помню от 2011 года к 2013 ситуация менялась. Насчет положения, имхо логично брать не менее года за отрезок, если брать какой-то из кварталов возможно статистика будет отличаться, опять же если брать в расчет только 2013 год, скорее всего там будет тоже иначе. Я же решил показать усредненно, как изменился рынок после 2010 года.
Марсель Тазетдинов, upd:
2) Хотя целесообразнее было бы просто взять какое-то кол-во данных из этого же отрезка, только рандомизированно, тогда будет больше похоже на честный эксперимент.
Марсель Тазетдинов, Ясно. По СБ--оно как бы является эталоном. Если что-то отличается от СБ--то имеет смысл рыть это дальше. А если не отличается--то смысла нет. Поэтому, имхо, расчеты типа приводимых вами всегда надо сравнивать в первую очередь с СБ, а уж потом выяснять SPY или росрынок или оба сразу отличаются от СБ.

Еще один момент. Во всех подобных вещах (если это чистый майнинг без каких-то идей под ним) надо оценивать не только саму величину статистики, но и ее ошибку. Что-нибудь типа хотя бы обычного доверительного интервала для нормальных распределений. Иначе совсем не понятно, насколько точны эти цифры--может там 20 плюс минус 20 процентов трендовых дней.
anatolyutkin,
1) хорошее замечание да
2) t-value?
Марсель Тазетдинов, Не знаю, подойдет ли Стьюдент, я с процентилями не работал особо. В любом случае, в рамках классической статистики эта задача решена давно, хоть с процентилями, хоть с чем.
Stas Ivanov, я в тегах указал, ну видимо да не очевидно, сейчас поправлю. То что это можно сделать где угодно понятно, но я типа несу R в массы :) Дальше буду усложнять посты да.
Stas Ivanov, забыл удалить старый комментарий, в коде все в порядке, там вычисляются свечки принадлежащие к конкретному дню
Марсель Тазетдинов, пофиксил
Марсель Тазетдинов, Может это я один не понял?
«наткнуться на флетовый день в два раза вероятнее чем на трендовый, посколькую флетовые дни составляют 40% от всех дней на фРТС».
А остальные 60% — это какие дни, если не флетовые и, частично, не трендовые?
Andy_Z, обычные дни, ну т.е. и не трендовые, но и не флетовые. Можно еще сказать что они слабо-трендовые, или сильно не флетовые :)
Марсель Тазетдинов, Спасибо за ответ. Но на самом деле хотелось бы до конца понять, как вычислить трендовый день или флетовый, и по каким критериям относить дни к слабо трендовым, не сильно флетовым?..
Stas Ivanov, ты не поверишь но за 2 года ковыряний более адекватного решения я не придумал :)
Марсель Тазетдинов, В узких кругах широко известно четкое определение трендовости и неплохие и быстрые методы для ее определения. Например, расчет фрактальной размерности по методу минимальных покрытий Старченко.

То, что у вас--оно, конечно, тоже с трендовостью связано, но не напрямую, зависит от таймфрейма, связано с крайне неустойчивыми величинами открытия и закрытия дня.
anatolyutkin, приблизительно понятно что это за методы, как я догадываюсь, берут абстрактный зиг-заг и потом измеряют длину его отрезков, но там беда в том «что брать за фрактал» в зиг-заге например берется отклонение от вектора на заданный АТР.

Вообще спасибо за наводку почитаю что это такое.
Марсель Тазетдинов, Да, в таком ключе. Почитайте диссертацию Николая Старченко, она в открытом доступе и там очень хорошо и подробно все описано.
anatolyutkin, да, спасибо
anatolyutkin, А можно ссылочку для входа в узкий круг?
Andy_Z, :) Широко известный в узких кругах--это фигура речи такая. Прикол :)

Старченко--это Микола с комона, я с ним еще на комоне много общался. Очень толковый человек. Вот ссылка на его диссер: www.mirkin.ru/_docs/kon_diser/diserstarchenko.pdf
Почитайте, если поймете--все, считайте, вы в узком кругу :) Не уверен, правда, что денег больше будет--но круги кругами, а бабло врозь :)

Ну а если серьезно--то это очень хорошая работа, как в плане обучения, так и в плане научной новизны.
anatolyutkin, Спасибо большое. Про фигуру речи я догадался, осталось теперь немного разобраться с математикой.
Andy_Z, я полагаю Анатолий имел ввиду узкий круг математиков или стат. аналитиков
Марсель Тазетдинов, Я бы не так сказал. Я бы сказал, узкий круг--это те, кто хотят хоть что-то знать и даже не против поработать для этого. А уж кто это будет--физик, математик, экономист или вообще автомеханик--это не особо и важно.
Красавец!
Циклы в векторах — это Вас так бабушка кодить учила?
Магистр Йода, прекрасно понимаю как использовать apply() но он для новичков не слишком очевиден в качестве примера.
Stas Ivanov, По моему опыту обучения студентов и не студентов--главное, чтобы было желание. Если желания нет, то независимо от начальных знаний прогресса не будет.

Предположим, что желание есть. Пусть человек слышал об арифметических действиях. Может складывать, вычитать, умножать и делить на калькуляторе, иногда с ошибками. Больше не может ничего. По моим представлениям, ему потребуется дней 30-90 шестичасового труда (ну или в другой пропорции, главное, чтобы общее число часов было каким-то таким) чтобы полностью понять, что там написано.

При этом человек изучит общие дисциплины:
1) Арифметические действия
2) Проценты
3) Простейший анализ бесконечно малых
Только первые два пункта помогут ему избежать многочисленных ловушек типа кредитов под 0.1% в день, скидок в 40% после удвоения цены, 9999 рублей и прочего.

После этого следуют более специальные вещи.
1) Теория вероятностей. Ничего кроме монетки не надо. Но монетку надо очень хорошо понять, разобраться с тем, что такое прошлое, что такое будущее, понять, что монетка обязательно рано или поздно упадет 10 раз подряд орлом, итд.
2) Изучение графиков монетки. Поняв основные свойства этих графиков, а главное, сопоставив реальные цены и графики монетки, человек спасет себя от кучи глупостей, будет легко различать эти глупости в потоке информации, итд. Причем все это вообще без реальной торговли и риска своими кровными. Кроме того, будет общее понимание, как именно можно заработать на изменениях цен.
3) На этом этапе на понимание сути работы Старченко уйдет один день. Там все просто :)
Stas Ivanov, Ну, я конечно забесплатно давно уже ничего не делаю (разве что посты на смартлабе в неконтролируемых приступах альтруизма), но сто лямов--что-то как-то несуразно :) Да и чему там учить--все общеизвестно.
anatolyutkin, если не затруднит поясните
dartstrade.ru/blog/gurilka/384.html,
Микола, приводит формулу вычисления фрактального индикатора

F=F1*(t1^c)+ F2*(t2^c)+ F3*(t3^c)+ F4*(t4^c).

Масштабы t1, t2, t3 и t4 равны 2,4,8 и 16 свечей соответственно, а константа с=1/2
подскажите вместо t нужно подставить 2 и т.д
Барсуков Андрей, ссылка битая.
Барсуков Андрей, Да, вспомнил. Я так скажу. Диссер Николая--это хорошая научная работа. Там показано, как по малой выборке определять фрактальную размерность (а значит, трендовость/контртрендовость) рынка. Эта же статья--это его дальнейшие разработки, не уверен, что хорошие. Там надо разбираться, причем хорошо разбираться. Помню, я что-то Николая спрашивал, но остался не вполне доволен качеством ответов. Может, я сам что-то не понял, может нет. Вот как-то так.

На ваш вопрос ответ, насколько помню выкладки, t1=2, t2=4, t3=8, t4=16. Это справедливо точно для броуновского движения, а поскольку реальные рынки слабо от него отличаются, то можно в первом приближении использовать это соотношение всегда.
anatolyutkin, спасибо за пояснение.мне непонятно почему формулу не записана следующим образом F1*(2^0.5)=F1*1.414214 соответственно и для остальных слагаемых также,
или я неверно рассуждаю
Барсуков Андрей, Верно рассуждаете. Просто корень квадратный--это след модели броуновского движения. И чтобы подчеркнуть, откуда взялась эта формула, Николай привел ее в таком виде. Потому что иначе я или кто-то еще спросил бы его--что это за ересь такая, откуда и почему какие-то 1.41? А корень из двух--это просто, это всем все ясно :) То есть 2^(0.5) это более информативная вещь, нежели чем 1.41, хотя это и одно и то же.
anatolyutkin, спасибо
anatolyutkin, а Вы тестировали этот метод? И как он в сравнении с простым пересечением МА?
broker25, Я бы сказал, что идеологически все совпадает с простейшими трендовухами. Разница есть, конечно, но она количественная. Поэтому и сказал кому-то выше, что не уверен, что денег от изучения всего этого добавится :) В этом смысле я идеологически согласен с недавней статьей JC: jc-trader.livejournal.com/1095157.html (надо только фразочки типа «самый лучший, заход в дебри обеспечен» не воспринимать серьезно).

Тут так. Если у человека есть голова на плечах, то ему подобные непростые методы не особо нужны, ибо суть вещей всегда проста и выявляется простейшей незамутненной всяким бредом логикой. А вот если головы нет, или в ней бред, то подобные формальные и последовательные вещи помогут обрести почву под ногами, ибо там все четко и последовательно и просто негде свернуть в сторону.
проводил исследование на трендовость фРТС, по сравнению с др. инструментами (Small Range (SR < 25), Large Range (LR > 75) )

drive.google.com/file/d/0B9bGdqPcGtzXMk1rc2tRNHg3NDA/edit?usp=sharing

надо бы обновить анализ, т.к. выше данные до 2010 года.

Вообще, и без анализа видно что за последний год количество трендовых дней существенно уменьшилось, до 1 раз в месяц.
avatar

Rustem

Пересчитал стату по фРТС — Трендовых дней (LR > 75) за 2011-2012 было 8.7%, а за 2013 — 7.6%.

Сравните как было до 2010 — 15%.
На 2013 уменьшилось в 2 раза. При этом методика по дневным свечкам. Если считать LR > 85, то их ещё меньше.
Rustem, кстати если еще геп вырезать, то будет еще более печально
Rustem, согласен, ри меняется в сторону MR
Марсель Тазетдинов, до 2010 фРТС был лидером по LR, сейчас аутсайдер. Скорее завязано на то, что ушли крупные спекулянты и идет продажа волатильности маркетмейкерами.
Rustem, это да, кстати многие «алготрейдеры» после 2010 как раз и ушли :)
Stas Ivanov, Не, не будете учиться. Времени не будет. Инфляция, хищники покрупнее, государство--все эти ребята не дадут вам спокойно жить. 3 мио долл--это уже много. Будете жить для того, чтобы бабло сохранить. На фракталы всякие времени не будет, даже выпить и то не всегда успеете :) На Буфета посмотрите или на Гейтса--грустное, унылое зрелище :) Конечно, 3 мио это не миллиарды, но и среди стомиллионщиков я что-то счастливых особо не видел.

Имхо, бабла должно быть в пропорцию. Чтобы о нем особо не думать. А думы о бабле имеют минимум при вполне определенных суммах--порядка 1 мио долл. Все, что меньше--напрягает тем, что выглядишь не лучше других, все, что больше--напрягает тем, что крупные хищники очень хотят кушать.
Stas Ivanov, Общаюсь иногда с разными людьми :) После десятки рублей народ уже поспокойней к баблу, при мио долл вообще нирвана, дальше начинаются специфические проблемы--проблемы бигбабла. Мио долл--это условная цифра, конечно, все люди разные. Но сотка рублей, это, имхо, уже много. Все сугубо имхо, конечно.
Stas Ivanov, Да, Москва очень дорогой город :) Помню, в 2000 году еду по Садовому на восьмерине и замечаю--мама родная, совковых машин-то вообще нет, один я только на тазике понаехал :) Лично я вообще большие города не люблю, хоть Москву, хоть Нижний, хоть европейские, хоть американские. В дяревню хочу, там воздух целебный :)

Думаю, надо сказать так: существует оптимальное количество бабла. Зависит от человека, места проживания, еще чего-то. И денег надо не меньше, но и не больше. Может, это и 100 мио. Зарабатывайте, расскажете потом, где оптимум :)
По моему в коде есть логическая ошибка.
Сначала, Вы считаете процентили исходя из всего набора данных. А далее исходя из рассчитанных процентилей считаете количество дней, которые попадают в определенный процентиль (трендовые, флетовые). Но по определению процентиля в верхний 20% и должно попадать 20% всех значений, что вы и получили.
Правильно будет выбрать внешний критерий, или посчитать на предыдущих данных, что такое трендовый день и использовать эту информацию для Вашей выборки.
avatar

Udgin

Udgin, да, уже в жж написали, надо взять среднее приращение, и считать тренд допустим в среднее приращение * 2, а флет среднее приращение / 2, например, в следующем посте напечатаю поправку
Udgin, кстати спасибо за замечание, приятно что кто-то все таки посмотрел в код и задумался :)
Марсель Тазетдинов, посмотрел потому, что удивился, что кто-то на смарт-лабе анализирует ряды с помощью R.
avatar

Udgin

Udgin, :)
Перед конференцией по алготорговле-2012 я проводил исследование дневок и минуток с 10:01 до 18:45 по двум характеристикам ряда приращений логарифмов:
1. смещение (критерий Стъюдента)
2. корреляция соседних приращений (критерий Фишера)

Брались 75% доверительные интервалы для этих характеристик на отрезках в 22 испытания и считались доли трех событий:
1. Интервалы для 1 и 2 содержат нуль (? — скорее всего СБ)
2. Интервал для 1 содержит нуль, а статистика Фишера для 2 указывает на значение меньше нуля — контртренд.
3. Остальное тренд.

Результаты в долях я приводил в своей презентации

www.howtotrade2007.narod.ru/articles/PresentAlgo.pdf

Для минуток внутри дня в 2008-2012 получилось:
Тренд ~19%
Контртренд ~38%
? — ~43%
avatar

А. Г.

А. Г., помню вашу презентацию да, наглядно было. Правда касаемо моего поста, чуть выше и в ЖЖ нашли ошибку, для измернений я взял квантили .8,.6,.4,.2 результат сравнения с которыми дал ровно то что они и показали, 20% трендовых, 40% нетипизированных дней и 40% флетовых :) Буду поправлять.
useless junk
avatar

qqqqqqqq

stop wasting ur time trying to find black cat in black room when there is no one. a lot of people made this before and no luck. there is no holy grail in any type of autoregressive stuff, believe me. better try to find exogenous predictors
avatar

qqqqqqqq

(btw — almost every type of finance ts math u'll find in packages rMetrics quantmod & highfrequency or simply use «finance» task view on cran — just for R-lovers).
avatar

qqqqqqqq


Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.

Залогиниться

Зарегистрироваться
....все тэги
Регистрация
UP