Блог им. tranquility

Платные данные от Мосбиржи нуждаются в дополнительной фильтрации?

Допустим, у вас есть скальперская стратегия и вы хотите ее протестировать на реальных исторических данных. Самое надежное и логичное решение — зайти на сайт Биржи:
www.moex.com/ru/orders?historicaldata
и купить данные там. У вас может возникнуть желание получить тики как их выдает квик — вместе с ценами бид и аск, желательно еще и с объемами предложений по ним. Однако, приобрести можно только тики вместе с вершинами книги заявок (Все сделки и лучшие заявки — Тип B). В результате вам дадут два файла — один с записанными вместе в хронологическом порядке ордерами и сделками, и другой — только со сделками. Сделки во втором файле содержат также поле «открытый интерес». Очевидно, что если ваша стратегия не смотрит стакан, а берет только цены лучших предложений в момент сделки, предоставленные данные придется как-то преобразовывать, чтобы выбрать наиболее актуальную котировку, которая была до данной сделки и еще, видимо, какое-то время после. Это может быть вполне себе замороченная процедура, но сейчас я не об этом.
Если взять данные на приведенной странице из примера, можно построить такой вот график (первые 2 секунды с начала торгов RIH4 5.02.2014 вечерней сессии):
Платные данные от Мосбиржи нуждаются в дополнительной фильтрации?

Здесь все как надо, аск всегда выше бида, сделка где-то между ними. А вот что уже в этом году происходит (15.01.2018, первая секунда торгов RIH8):
Платные данные от Мосбиржи нуждаются в дополнительной фильтрации?
и весь день, видно как постоянно подаются заявки на покупку сильно выше аска и на продажу сильно ниже бида:
Платные данные от Мосбиржи нуждаются в дополнительной фильтрации?

Собственно, хочется понять, что поменялось с начала 14 года? Можно ли трактовать такие заявки как рыночные ордера? Если так, то почему биржа ими замусоривает ордерлог? Или эти заявки не мусор на самом деле и из них можно извлечь какую-то пользу? Ну и с точки зрения тоговли, какой смысл посылать такие заявки? Они быстрее рыночного приказа исполняются, что ли? Такая вот взрывающая мозг тема с кучей вопросов...


★6
40 комментариев
а там признак у сделки «рыночная» стоит?
avatar
Андрей К, сделки черными кружками помечены, в данных у них номер еще есть. А заявки не имеют номера, только цена и объем. Вот кусок из начала файла от 15 января (13 миллисекунд торгов):
#SYMBOL,SYSTEM,TYPE,MOMENT,DEAL_ID,PRICE,VOLUME
RIH8,F,B,20180115092753783,,126910.00000,5
RIH8,F,S,20180115094420177,,126990.00000,22
RIH8,F,S,20180115094519810,,126990.00000,20
RIH8,F,B,20180115094745990,,126900.00000,50
RIH8,F,B,20180115100000013,,127160.00000,1
RIH8,F,S,20180115100000013,1946084631,126990.00000,1
RIH8,F,B,20180115100000013,,126900.00000,50
RIH8,F,S,20180115100000013,,126990.00000,19
RIH8,F,B,20180115100000013,,127160.00000,312
RIH8,F,S,20180115100000013,1946084632,126990.00000,19
RIH8,F,B,20180115100000013,,127160.00000,293
RIH8,F,S,20180115100000013,,127030.00000,6
RIH8,F,S,20180115100000013,1946084633,127030.00000,5
RIH8,F,B,20180115100000013,,127160.00000,288
RIH8,F,S,20180115100000013,,127030.00000,1
RIH8,F,S,20180115100000013,1946084634,127030.00000,1
RIH8,F,B,20180115100000013,,127160.00000,287
RIH8,F,S,20180115100000013,,127060.00000,1
RIH8,F,S,20180115100000013,1946084635,127060.00000,1
RIH8,F,B,20180115100000013,,127160.00000,286
RIH8,F,S,20180115100000013,,127080.00000,6
RIH8,F,S,20180115100000013,1946084636,127080.00000,1
RIH8,F,B,20180115100000013,,127160.00000,285
RIH8,F,S,20180115100000013,,127080.00000,5
RIH8,F,S,20180115100000013,1946084637,127080.00000,5
RIH8,F,B,20180115100000013,,127160.00000,280
RIH8,F,S,20180115100000013,,127100.00000,26
RIH8,F,S,20180115100000013,1946084638,127100.00000,1
RIH8,F,B,20180115100000013,,127160.00000,279
RIH8,F,S,20180115100000013,,127100.00000,25
RIH8,F,S,20180115100000013,1946084639,127100.00000,1
RIH8,F,B,20180115100000013,,127160.00000,278
RIH8,F,S,20180115100000013,,127100.00000,24
RIH8,F,S,20180115100000013,1946084640,127100.00000,24
RIH8,F,B,20180115100000013,,127160.00000,254
RIH8,F,S,20180115100000013,,127130.00000,5
RIH8,F,S,20180115100000013,1946084641,127130.00000,2
RIH8,F,B,20180115100000013,,127160.00000,252
RIH8,F,S,20180115100000013,,127130.00000,3
RIH8,F,S,20180115100000013,1946084642,127130.00000,1
RIH8,F,B,20180115100000013,,127160.00000,251
RIH8,F,S,20180115100000013,,127130.00000,2
RIH8,F,S,20180115100000013,1946084643,127130.00000,1
RIH8,F,B,20180115100000013,,127160.00000,250
RIH8,F,S,20180115100000013,,127130.00000,1
RIH8,F,S,20180115100000013,1946084644,127130.00000,1
RIH8,F,B,20180115100000013,,127160.00000,249
RIH8,F,S,20180115100000013,,127140.00000,1
RIH8,F,S,20180115100000013,1946084645,127140.00000,1
RIH8,F,B,20180115100000013,,127160.00000,248
RIH8,F,S,20180115100000013,,127150.00000,2
RIH8,F,S,20180115100000013,1946084646,127150.00000,1
RIH8,F,B,20180115100000013,,127160.00000,247
RIH8,F,S,20180115100000013,,127150.00000,1
RIH8,F,S,20180115100000013,1946084647,127150.00000,1
RIH8,F,B,20180115100000013,,127160.00000,246
RIH8,F,S,20180115100000013,,127160.00000,3
RIH8,F,S,20180115100000013,1946084648,127160.00000,2
RIH8,F,B,20180115100000013,,127160.00000,244
RIH8,F,S,20180115100000013,,127160.00000,1
RIH8,F,S,20180115100000013,1946084649,127160.00000,1
RIH8,F,B,20180115100000013,,127160.00000,243
RIH8,F,S,20180115100000013,,127170.00000,53
RIH8,F,B,20180115100000013,,126900.00000,50
RIH8,F,B,20180115100000013,,127160.00000,312
RIH8,F,B,20180115100000013,,126900.00000,50
там где поле DEAL_ID заполнено — это сделка, где нет — заявка.
avatar
tranquility, и чего такое вас в файле не устраивает? по моему все равно и правильно.
avatar
Андрей К, Бид (сильно) выше аск и наоборот. На графике вначале все нормально, потом начинаются такие заявки, после 200мс (научите делать спойлеры, чтобы простыня сворачивалась-разворачивалась!):
RIH8,F,B,20180115100000200,,127160.00000,311
RIH8,F,B,20180115100000200,,126900.00000,50
RIH8,F,B,20180115100000200,,127160.00000,311
RIH8,F,B,20180115100000200,,126900.00000,50
RIH8,F,B,20180115100000207,,127160.00000,311
RIH8,F,B,20180115100000207,,126900.00000,50
RIH8,F,B,20180115100000207,,127160.00000,311
RIH8,F,B,20180115100000207,,126900.00000,50
RIH8,F,B,20180115100000210,,127160.00000,312
RIH8,F,B,20180115100000210,,126900.00000,50
RIH8,F,B,20180115100000210,,127160.00000,312
RIH8,F,B,20180115100000210,,126900.00000,50
RIH8,F,B,20180115100000237,,127160.00000,312
RIH8,F,B,20180115100000237,,126900.00000,50
RIH8,F,B,20180115100000237,,127160.00000,312
RIH8,F,B,20180115100000237,,126900.00000,50
RIH8,F,B,20180115100000237,,127160.00000,312
RIH8,F,B,20180115100000237,,126900.00000,50
RIH8,F,B,20180115100000237,,127160.00000,312
RIH8,F,B,20180115100000237,,126900.00000,50
RIH8,F,B,20180115100000247,,127160.00000,312
RIH8,F,B,20180115100000247,,126900.00000,50
RIH8,F,B,20180115100000247,,127160.00000,312
RIH8,F,B,20180115100000247,,126900.00000,50
RIH8,F,B,20180115100000247,,127160.00000,312
RIH8,F,B,20180115100000247,,126900.00000,50
RIH8,F,B,20180115100000250,,127160.00000,312
RIH8,F,B,20180115100000250,,126900.00000,50
RIH8,F,B,20180115100000250,,127160.00000,312
RIH8,F,B,20180115100000250,,126900.00000,50
RIH8,F,B,20180115100000250,,127160.00000,312
RIH8,F,B,20180115100000250,,126900.00000,50
RIH8,F,B,20180115100000250,,127160.00000,312
RIH8,F,B,20180115100000250,,126900.00000,50
RIH8,F,B,20180115100000250,,127160.00000,312
RIH8,F,B,20180115100000250,,126900.00000,50
RIH8,F,B,20180115100000250,,127160.00000,312
RIH8,F,B,20180115100000250,,126900.00000,50
RIH8,F,B,20180115100000250,,127160.00000,312
RIH8,F,B,20180115100000250,,126900.00000,50
RIH8,F,B,20180115100000257,,126910.00000,10
RIH8,F,B,20180115100000260,,127080.00000,5
RIH8,F,S,20180115100000270,,127020.00000,5
RIH8,F,B,20180115100000270,1946084669,127080.00000,5
RIH8,F,S,20180115100000270,,127170.00000,53
RIH8,F,B,20180115100000270,,127030.00000,5
RIH8,F,S,20180115100000270,,126980.00000,5
RIH8,F,B,20180115100000270,1946084670,127030.00000,5
RIH8,F,S,20180115100000270,,127170.00000,53
RIH8,F,B,20180115100000270,,126910.00000,10
RIH8,F,B,20180115100000270,,126990.00000,1
RIH8,F,B,20180115100000270,,127000.00000,1
RIH8,F,B,20180115100000273,,131980.00000,15
RIH8,F,S,20180115100000273,1946084679,127170.00000,15
RIH8,F,B,20180115100000273,,127000.00000,1
RIH8,F,S,20180115100000273,,127170.00000,38
RIH8,F,S,20180115100000273,,127020.00000,21
RIH8,F,B,20180115100000273,,127120.00000,1
RIH8,F,S,20180115100000273,1946084695,127020.00000,1
RIH8,F,B,20180115100000273,,127000.00000,1
RIH8,F,S,20180115100000273,,127020.00000,20
RIH8,F,B,20180115100000277,,127020.00000,4
RIH8,F,S,20180115100000277,1946084720,127020.00000,4
RIH8,F,B,20180115100000277,,127000.00000,1
RIH8,F,S,20180115100000277,,127020.00000,16
RIH8,F,B,20180115100000277,,128000.00000,1
RIH8,F,S,20180115100000277,1946084726,127020.00000,1
RIH8,F,B,20180115100000277,,127000.00000,1
RIH8,F,S,20180115100000277,,127020.00000,15
RIH8,F,B,20180115100000277,,127130.00000,1
RIH8,F,S,20180115100000277,1946084727,127020.00000,1
RIH8,F,B,20180115100000277,,127000.00000,1
RIH8,F,S,20180115100000277,,127020.00000,14
RIH8,F,B,20180115100000280,,127180.00000,3
RIH8,F,S,20180115100000280,1946084735,127020.00000,3
RIH8,F,B,20180115100000280,,127000.00000,1
RIH8,F,S,20180115100000280,,127020.00000,11
RIH8,F,B,20180115100000280,,131980.00000,1
RIH8,F,S,20180115100000280,1946084740,127020.00000,1
RIH8,F,B,20180115100000280,,127000.00000,1
RIH8,F,S,20180115100000280,,127020.00000,10
RIH8,F,B,20180115100000280,,131980.00000,3
RIH8,F,S,20180115100000280,1946084741,127020.00000,3
RIH8,F,B,20180115100000280,,127000.00000,1
RIH8,F,S,20180115100000280,,127020.00000,7
RIH8,F,B,20180115100000280,,127120.00000,1
RIH8,F,S,20180115100000280,1946084742,127020.00000,1
RIH8,F,B,20180115100000280,,127000.00000,1
RIH8,F,S,20180115100000280,,127020.00000,6
RIH8,F,B,20180115100000280,,127200.00000,1
RIH8,F,S,20180115100000280,1946084745,127020.00000,1
RIH8,F,B,20180115100000280,,127000.00000,1
RIH8,F,S,20180115100000280,,127020.00000,5
RIH8,F,B,20180115100000280,,126990.00000,2
RIH8,F,B,20180115100000280,,126990.00000,1
RIH8,F,B,20180115100000280,,126910.00000,11
RIH8,F,B,20180115100000280,,126910.00000,10
RIH8,F,S,20180115100000283,,127010.00000,1
RIH8,F,S,20180115100000283,,127010.00000,2
RIH8,F,S,20180115100000283,,127010.00000,3
RIH8,F,S,20180115100000283,,127000.00000,1
RIH8,F,S,20180115100000287,,126900.00000,20
RIH8,F,B,20180115100000287,1946084752,126910.00000,10
RIH8,F,S,20180115100000287,,126900.00000,10
RIH8,F,B,20180115100000287,,126900.00000,51
RIH8,F,B,20180115100000287,1946084753,126900.00000,5
RIH8,F,S,20180115100000287,,126900.00000,5
RIH8,F,B,20180115100000287,,126900.00000,46
RIH8,F,B,20180115100000287,1946084754,126900.00000,5
RIH8,F,S,20180115100000287,,127000.00000,1
RIH8,F,B,20180115100000287,,126900.00000,41
RIH8,F,B,20180115100000287,,126920.00000,3
RIH8,F,B,20180115100000287,,126920.00000,10
RIH8,F,B,20180115100000287,,126920.00000,7
RIH8,F,B,20180115100000287,,126920.00000,29
RIH8,F,B,20180115100000287,,126920.00000,22
RIH8,F,B,20180115100000287,,126920.00000,30
RIH8,F,B,20180115100000310,,127010.00000,66
RIH8,F,S,20180115100000310,1946084787,127000.00000,1
RIH8,F,B,20180115100000310,,127010.00000,65
RIH8,F,S,20180115100000310,,127010.00000,3
Вот конкретный пример:
RIH8,F,S,20180115100000277,,127020.00000,16
RIH8,F,B,20180115100000277,,128000.00000,1
RIH8,F,S,20180115100000277,1946084726,127020.00000,1
аск ниже бид. Вроде как тут бид сразу же за счет аска удовлетворился, но тип сделки почему-то шорт, хотя логичнее было бы лонг, т.к. «маркет» заявка была удовлетворена за счет асков…
avatar
tranquility, например где? приведите конкретно цены
avatar

Во первых нужно выяснить, имеет ли биржа вобще такой тип приказа как рыночный( СМЕ вот не имеет).

Во вторых, наиболее удобно открыть-закрыть позу из терминала руками, это просто щелкнуть мышкой выше бида-аска (в большинстве терминалов, автоматом в поле введения цены будет стоять та цена по которой вы щелкнули- то есть выше аска или ниже бида.) И нажать энтер.

Автор просто не имеет опыта скальперской торговли, иначе его бы это не удивило.

Невербальный Паровоз, получается, если на бирже нет типа рыночного приказа, то направления сделок, которые в ленте отображаются — весьма условные?
avatar
tranquility, на бирже вроде есть только лимитный ордер… в данном случае лимитка выше аска исполняется как рыночный… а что касается сделок выше бида или ниже аска-то может в надежде на сильные движения если продавят цену пустить её ещё дальше.тогда ручному трейдеру купить или продать по лучшей цене вряд ли удастся
avatar
ivanov petya, ну как бы разница с 14 годом налицо, так выглядит вечерняя сессия 05.02.2014:

Аск четко все время выше бида. Что поменялось с того времени на Бирже?

avatar
tranquility, стратегии,HFT эволюционировали например.как предположение.
avatar

tranquility, да, скорее всего, на той же СМЕ точно нет рыночного приказа(все приказы по рынку автоматом превращаются в лимитники выше аска, к примеру.)

Но при этом различные терминалы могут показывать в ленте направление сделки.

Что смущает — случаи кода цена бидовой заявки сильно выше цены оффера, или случаи когда цена сделки сильно за ориентировочным спредом? — если первое — то да, просто кидают заявку с запасом — ниче такого.
avatar
Replikant_mih, смущает изменение вида торговли с 2014, думал, может кто-то знает что это за конкретное нововведение такое было. И еще хотелось бы определиться, как определяется направление сделки. Вот здесь:
RIH8,F,S,20180115100000277,,127020.00000,16
RIH8,F,B,20180115100000277,,128000.00000,1
RIH8,F,S,20180115100000277,1946084726,127020.00000,1
я бы определял по «рыночному» приказу, то есть лонг, а биржа посчитала по лимитному. Хочется понять, это такое правило, что по более раннему приказу тип определяется, или есть какие-то нюансы…
avatar
вы мне так и не ответили. А там на самом деле все просто.
avatar
Андрей К, ну как же:
smart-lab.ru/blog/474906.php#comment8544355
smart-lab.ru/blog/474906.php#comment8544437

цитата из 3 строчек…
avatar
tranquility, вечером напишу, если никто не ответит, сейчас уже не удобно писать.
avatar
Андрей К, да уж, тут все же надо разобрать по полочкам. Буду рад если поможете!
avatar
tranquility,
avatar
Андрей К, Вот, похоже то, что надо! https://smart-lab.ru/blog/474906.php#comment8545436
avatar
tranquility, я почему то не вижу текста в своем ответе. Утром написал вам большой ответ
avatar
Андрей К, ну капец. Посмотрите по ссылке, про сведение заявок, кластеры, там очень много информации, может что-то уже там есть, чтобы заново не трудиться…
avatar
tranquility, да я вроде и так это все знаю, мне незачем смотреть
avatar
Андрей К, ну может, там есть то, что Вы сегодня утром написали. Если так, то не так жалко потерянный текст было бы.
avatar
Андрей Андреичъ, это делается чтобы не нашлось кого-то кто бы дерзнул «выжрать» все реальные заявки в направлении движения цены?
avatar
Андрей Андреичъ, но все логи ведь записываются. Можно как-то по ним показать, что эти вот заявки и сделки сделаны маркетмейкером, причем в интересах биржи, для манипулирования толпой? Хотя бы постфактум, а не в реальном времени. Вообще, как я понимаю, ордерлог, который мне предоставила Биржа, никому в реальном времени не транслируется. Или все же транслируется?
avatar
RIH8.
«А там на самом деле все просто.»

Я думаю, что не только мой робот выставляет заявки на продажу по минимально возможной цене, а на покупку — по максимально возможной. Так я реализую рыночные заявки на ФОРТС.

При установке направления сделки учитывается не только, кто является активной и пассивной стороной, но и относительные объемы. Чтоб жизнь раем не казалась для любителей работать с направлением сделок по таблице обезличенных сделок.

Эти технические вопросы много раз поднимались на SL.
avatar
Khan Tengri, ну, в таком случае вас можно поблагодарить, т.к. такие заявки легче отфильтровывать) Вы так до 14 года не торговали, случайно? А чему, собственно, равны эти предельные цены, которые можно выставить, где-то есть это в документации, квика того же. В описании sendTransaction написано только
PRICE - Цена заявки, за единицу инструмента. Обязательный параметр. При выставлении рыночной заявки (TYPE=M) на Срочном рынке FORTS необходимо указывать значение цены – укажите наихудшую (минимально или максимально возможную – в зависимости от направленности), заявка все равно будет исполнена по рыночной цене. Для других рынков при выставлении рыночной заявки укажите price=0
И еще, где-то можно почитать про правила по которым определяется направление, насчет этих самых относительных объемов, хотя бы логику понять… Так-то, в реальном времени я скорее всего буду видеть только одну из сторон. Или при подключении по plaza, например, транслируется весь ордерлог, как в истории от Биржи мною приведенной?
Был бы признателен за наводку на прежние обсуждения данной темы, можете помочь найти?))
avatar
tranquility, в QUIK в таблице текущих торгов есть пара полей для «планок»:
pricemin и pricemax

основная идея — из LUA

pmin = tonumber(getParamEx(P_class, P_security, «pricemin»).param_value)

Нюансы — самостоятельно.

А почитать можно в 
tradetrade.ru/programmi/2014/05/05/epicheskiy-batl-qscalp-vs-easyscalp-quik-vs-metatrader-5-plaza-2-vs-polu-plaza-lenta-beritca-vs-polu-lenta-atas-footprint-vs-smart-footprint-matching-forts.html

Он и на SL несколько раз упоминался, можно найти, емкий материал.

Если избирательно, то можно начать с контекста «как ядро торговой системы сводит разнонаправленные заявки внутри себя!» или «сведения заявок».

avatar
Я вот тоже прикупил месяц детальных данных,  тоже интересно во всем этом покапаться.  Но пока из-за командировок не добрался. 
Кстати,  там в какой то год менялся формат данных. Возможно,   причина в этом. 
avatar
Носорог, сам формат вроде один и тот же. А вот выглядят по-разному. Это говорит о том, что в самой торговле у участников что-то поменялось. Может, еще вдобавок рыночные приказы сначала были, а потом их упразднили и в лимитные перевели…
avatar
Не стоит для пробы что-то покупать. У кускальпа доступен полный OrderLog  с плазы за несколько лет по всем фьючерсам.
avatar
JBJ, возможно, что-то в этом есть. QScalp — 950р в месяц, а месяц данных с вершиной стакана по одному инструменту — 1500р. Не мешало бы сравнить данные, вдруг отличия принципиальные имеются…
avatar
tranquility, там не нужно ничего платить. Данные бесплатны и обновляются каждый день
avatar
JBJ, а как их забирать? Поставить ломаный кускальп чтобы не платить?
avatar
tranquility, архивы ордерлогов в свободном доступе есть у Цериха
ftp://athistory.zerich.com,
(пример)

ftp://athistory.zerich.com/2018-06-01/RTS-6.18.2018-06-01.OrdLog.qsh

Проверил, скачал. Ставить QScalp не надо.

Программа для преобразования (распаковки, файл *.qsh  разбухает раз в 20) называется qsh2txt.exe.
Ее можно найти. Пользовался.

QScalp History Data

Можно найти спецификацию формата QSH.
www.qscalp.ru/store/qsh.pdf
avatar
Khan Tengri, спасибо!!!
avatar
Товарищи трейдеры, а какой терминал так показывает график в таком виде? Выбросы — это что такое? Внесистемные сделки, или как раз такие ордеры, на которые я жаловался изначально в этой теме? Или просто «красивая» картинка чтобы внимание привлечь?)

avatar

теги блога tranquility

....все тэги



UPDONW
Новый дизайн