Блог им. mirus_lana

СМЕ- новый формат передачи данных и чем он нам грозит

Собственно, принцип протокола старый, и для нас, смертных, сводится к одному критичному для многих параметру.

Агрегированные тики.

Если ваша стратегия к ним не чувствительна, читать далее не нужно. Велика вероятность того, что вы уже сейчас используете склеенный тиковый поток, и ничего из нововведений вас не затронет. К слову, до 2009 этот формат был повсеместной нормой, т.е. мы просто возвращаемся в этом плане в прошлое.

Если ваша стратегия основана на анализе потока ордеров- вычленении ордеров определенного размера, их последовательности, и других занятных вещей- начинайте думать над другим инструментарием или измененной стратегией.


В рамках старого протокола FIX/FAST каждый “message”, передаваемый нам биржей, посылался отдельным пакетом, будь то апдейт книги ордеров, статистика, котировки, сделки, статус GLOBEX, и тд). Именно благодаря этому инкрементальному подходу мы, при желании, могли видеть каждую отдельную сделку через ленту, график, собственные приложения на API. Именно на этой возможности, наряду с другими, основана работа всех “маркетдельт” и “ордерфлоу” мира, не говоря о гораздо более сложных и дорогих проектах.


Новый протокол MDP 3.0 будет паковать индивидуальные сообщения в пакеты до 1420 bytes. Если несколько сообщений готовы к отправке одновременно, они вкладываются в один и тот же пакет. Одно и то же сообщение не разбивается по нескольким пакетам. Апдейты к какому-то событию (трейду, например), могут быть разбросаны по нескольким сообщениям и возмжно разным пакетам.

MDP 3.0 может использоваться уже сейчас, наряду с привычным нам FIX/FAST, и до октября 2015 года на него должны мигрировать абсолютно все поставщики данных СМЕ. В настоящее время уже мигрировали такие крупные поставщики, как Т4 и CQG (последние перешли на новый протокол в начале мая без предупреждения), и уже сейчас можно поиграть в игру “почувствуйте разницу”. IQFeed сообщили, что будут придерживаться старого формата как можно дольше, по возможности, соответственно те, кто используют Kinetick, так же могут видеть тиковые данные старого образца. Rithmic также повременил с миграцией и наблюдает за тем, как на новой системе рапортуются прошедшие трейды.

Исходя из особенностей нового формата, поставщик- теоретически- может “распаковать” пакеты на индивидуальные тики, но, разумеется, эта операция будет требовать времени, соответственно, с октября, думается, будет выбор- склеенные тики быстро, или распакованные- с задержкой.


И здесь многие произнесут “шах и мат” и побредут искать другие биржевые площадки- или новые торговые стратегии.


Всех благ!
  • Ключевые слова:
  • CME
★23
98 комментариев
Спасибо Лана, я просто счастлив, что в свое время не начал работать по объемам.
Тихая Гавань, все адаптируются. «все проходит, пройдет и это»
Светлана Орловская, согласитесь на адаптацию нужно время + достаточно серьезная система переписки алгоритмов.
Тихая Гавань, да.
раскрыть комментарий
Денис Нефедов, тогда уж и вы, Денис, ответьте, с какой целью тут свой говноблог ведете? Чего добиваетесь?)
avatar
Тихая Гавань, справедливости ради нужно отметить, что большинство «объемщиков» ориентируются на суммарные уровни, и новый формат на это не повлияет. Автоматизированный анализ потока- совсем другое дело, конечно.
Тихая Гавань, а каким образом данная новость скажется на объективности индикатора объема? Как я понимаю, плохо будет ХФТ, где нужна моментальная реакция. Для обычного дейтрейдера, анализирующего объемы, дельту и тп все будет норм. Или я не прав?
avatar
Надо отметить, что данное нововведение действует только для Нинзи Трейдер и только. Поэтому нужно предупреждать, что ограничения коснуться только брокера Нинзя Трейдер Брокеридж.
avatar
Евгений, неверное утверждение. Оттого это и «горячая» тема на всех западных торговых форумах, что нововведение касается абсолютно всех, вне зависимости от брокерского обслуживания, платформы, поставщика. Более того, она актуальна даже для тех, кто просто покупает данные у, скажем, IQFeed, не имея никакого брокерского обслуживания нигде, в принципе. До октября мигрируют абсолютно все провайдеры: www.cmegroup.com/confluence/display/EPICSANDBOX/CME+MDP+3.0+Market+Data
Светлана Орловская, ваше утверждение неверно. Изменение касается только НТ брокера и только. Другие платформы перенесли изменение безболезненно.
avatar
Евгений, речь не о болезненности (ее нет), не о брокерах (они нерелевантны), и уж тем более не о платформах (без них вообще можно обойтись). Все намного проще и стоит у биржевого исходника. Многие платформы очень, очень крупных брокеров никогда не имели потикового фида и оперировали снэпшотами-склейками в десятки и сотни тиков; разумеется, для них новый формат не принесет никаких изменений, перешли они уже на него или нет. Картинка она и есть картинка. Речь идет о том, что основанные на анализе потока ордеров стратегии (на любом тиковом фиде у любого брокера, с применением коммерческой платформы или без) будут нуждаться в изменении, рано (уже сейчас) или поздно (октябрь 2015). Работающие с нами провайдеры по-разному адаптируют миграцию, и мы соответствующим образом оповещаем клиентов- как и другие брокеры, предоставляющие доступ к тиковым данным, кстати, но из-за языкового барьера информация могла пройти мимо.
Светлана Орловская, я про это и пишу. Что в первую очередь это коснеться пользователей НТ Брокеридж. А других и не коснется.
avatar
Евгений, к сожалению, Вы пишете совсем не об этом. Если внимательно почитать документы СМЕ, ссылки на которой были даны, переход на новый формат затронет всех, кто работает с анализом живого тикового потока, у любого брокера (или совсем без него), на любом поставщике. Более того, важно понять, что проблемы как таковой нет. Любая платформа только выиграет от меньшего количества пакетов, поступающих с биржи. Проиграет анализ, основанный на размере единичных тиков и их последовательности. Трейдерам, не использующим этот анализ, где бы и на чем бы они не работали, эта тема совершенно неактуальна, как я изначально написала в статье. Всего хорошего :)
Светлана Орловская, я прекрсно понимаю что речь идет об изменениях CME. И изменения затронет только платрорму НТ. Не более.
avatar
Евгений, я хочу подчеркнуть, что платформы все происходящее не затронет совершенно. Ни Ninja, ни, скажем, еще 40+, которые мы подключаем. Речь в топике совершенно о другом- о данных, поступающих с биржи в платформы/приложения/API. Спасибо за Ваше внимание к вопросу ).
Светлана Орловская, да нет, затронет как раз НТ. Но вы видимо не в курсе, что переводите
avatar
Евгений, я бы очень хотела, чтобы данная дискуссия не переходила на личности за отсутствием других аргументов- оставим этот прием, как и голословность, непродуктивным категориям форумчан :). Если Вы хотите привести конкретный пример из документации СМЕ, который объясняет Вашу точку зрения — я с удовольствием его с Вами разберу. Еще раз спасибо :)
Светлана Орловская, не тратьте свое драгоценное на тролей.
Светлана Орловская, я не переходил на личность. Я утверждаю, что вы как брокер, не совсем понимаете о каких именно пакетах идет речь. О чем и пишу, что вводите в заблуждение.

Пишите дальше. Мне то что.
avatar
Евгений, Вот ты даун.
avatar
Евгений, ты сказочный долбоеб.
avatar
Евгений, необратимые изменение уже затронули ваш восполенный мозг.:-)
avatar
Евгений, переход на MDP касается всех провайдеров данных. Платформа NT, или Market Delta — не имеет значения.
avatar
Евгений, Евгений, Вы демонстрируете потрясающую неосведомленность
avatar
Евгений, вы пост читали? Т4 уже перешли.
В спецификации-оригинале не нашел ничего про «1420 бит»
Профессор Преображенский, вот здесь смотрите? www.cmegroup.com/confluence/display/EPICSANDBOX/CME+MDP+3.0+Market+Data В пятницу из этого источника взята следующая информация:
«The following changes were made to market data distribution:
More than one message may be included in a packet (a packet is a formatted unit of data carried on a network). The maximum size of a packet is 1420 bytes.
Multiple messages will only be included in a packet if they are available at the same time and will fit into the packet.
A single FIX message will not be split over multiple packets
Updates for a given event may be split into multiple FIX messages and possibly several packets»
Светлана Орловская, не увидел, спасибо.
Профессор Преображенский, да, конечно. Эта документация будет сейчас постоянно обновляться. Я вижу, что они добавили очень много наглядности за выходные — схемы/рисунки/чарты.
А я просто счастлив, что переболел торговлей на объемах как раз в районе 2007-2010гг.
avatar
Dmitry Rynza, а я счастлива, что никогда даже не подозревала о существовании такой болезни.
avatar
margin, болезней очень много. Причем каждый болен какой-то, даже если он об этом не подозревает.
avatar
Dmitry Rynza, если не подозревает о болезни, значит здоров!
avatar
margin, ))))))) шизофреники одни из них)))) их не убедишь, что они больны.
avatar
Dmitry Rynza, не только они.)))
avatar
margin, нет людей здоровых! Есть недообследованные))) (черный медицинский юмор).
margin, стодолларовые квадратики — это ваше кредо. Зачем что то еще.
Ну наконец то начнется нормальный, конкурентный рынок и меряться трейдеры станут умом а не железом.
avatar
OilтрейдиOil, да уж, будет интересно, гуры «читающие поток и находящие ХФТ в стакане», вымрут как мамонты.
avatar
Спасибо, Света. Простите за оценку новости, но это пиздец:(
А с какой целью это делается, зачем решили поменять текущее положение дел?
avatar
SMA, нет такого инсайда :)
Светлана Орловская, а почему инсайд? они почему то решили поменять структуру рынка- это не инсайд- это больше на мошенничество похоже, что бы его обосновать нужна очень веская причина, вот эту причину и хочется узнать.
avatar
оо — демократия наконец-то — никакого инсайда для математиков)) чистая цена в графике -всегда не любил умных математиков и аля HFT — теперь все стали ровнее))
Владимир Фокс, Вот как раз математика теперь и попрет в массы, а преимущество в скорости доставки алгоритма до ядра убрали. Давно было пора это сделать.
avatar
OilтрейдиOil, это почему же математики попрут? там же будет склеиваться и выдаваться ВСЕМ одна инфа — тик за миллисекунду и объем на нем? или нет?
Это Fail
avatar
Des, 100%
avatar
Присылало СМЕ биллютень вроде на прошлой неделе. Последнее большое изменение по этой теме на СМЕ было как раз в обратную сторону — большие объемы по одному тику разбивали на несколько тиков по одной цене. Реконструированная Лента Джигсоу Питера Девиса как раз и занимается восстановлением оригинальных рыночных ордеров которые СМЕ резало на куски. Теперь же я понимаю они наоборот — не будут резать большие на части а склеивать и большие и малые в один единственный тик по одной цене в пределах определенного интервала времени. По сути такие штуки как РЛ будут просто не нужны, так как большие заявки будут снова видны глазом, просто к ним будут приплюсовано еще немного мелких.

Думаю что торговлю по объемам или футпринтам это никоим образом не касается. Касается только ордерфловщиков-скальперов, да и то скорее всего только упрощает им жизнь, так как лента будет бежать снова медленнее и большие заявки снова будут видны одним тиком а не десятком мелких.

Я как-то так это интерпретирую.
Дар Ветер, на сколько я понимаю, искусственно они ничего не разбивали. В ленте мы видели мелочевку, помеченную одним таймстемпом потому, что она сводилась с одним маркетным заказом. По этому таймстемпу их и агрегировали терминалы. Зато можно было увидеть какие размеры были с лимитной стороны.
И, согласен, на любителях фп, скорее всего нововведение скажется мало.
avatar
Dale_DMT, в тот то и дело, как теперь понять по ленте, какой сайз был на лимитах, если пакет будет тупо склееный? Благо в этом году начал уходить от скальпинга в интрадей и позиционный трейдинг.
avatar
Дар Ветер, да ну, опытные читатели ленты отфильтровали ее во всех местах (у меня ее было 4 вида) и все прекрасно видели и сайзы и цены, и толпу и крупняк. А теперь смысла в анализе потока ордеров нету. У меня слов нет, я в печали.
avatar
Des, спасиб за комент — то есть вам это повредит в ваших расчетах (торгах)?
Владимир Фокс, насколько повредит или нет только время покажет, но одна из сильных сторон моего трейдинга (как я считаю) стала слабее… Но конечно лента лишь дополнительное ядро для понимания рынка и происходящего на нем, не ключевое.
avatar
Народ. не совсем по теме… как в мультичартс график двинуть влево от ценовой шкалы…
avatar
SamaEl, правой кнопкой по пространству окна графика, формат виндов, х- таим скаил, чарт шифт
avatar
SMA, Сппасибо
avatar
SamaEl, на здоровье :)
avatar
Мне кажется Лана сгущает краски, ну склеят тики, ничего страшного. Так же все будет прекрасно видно.
Капитан Сильвер, зависит от того кто как смотрит ))
Тихая Гавань, ну вот IB клеит тики, клеят же по цене, прошло допустим 5+5+7, они показали 17. Крупные сделки все равно видно.
Ну вроде как сейчас тенденция наоборот — из айсбергов и дрипов собирать исходную картинку. Искать больших торгашей.
avatar
Здравствуйте.

Приведу некий пример того, о чем вы говорите.
Если прошли сделки 20 по цене 2008, 1 по 2008, 3 по 2008, 60 по 2008, то теперь мы увидим 84@2008.
Данная ситуация действительно есть возврат к тому, что было ранее, и не должны напугать; даже новые трейдеры адаптируются быстро.
Тем не менее, будьте готовы, что нововведение изменит привычные tick chart и cluster chart. Разумеется, вы будет видеть агрегированный поток и на ленте.
avatar
Mérovingien, полностью согласен
Mérovingien, скажите, пожалуйста, как измениться cluster chart, если я анализирую на ТФ 15 и 60 минут? никак ведь, правда? будет такой же чарт?
anler.belyi, никак, если только дохлый неликвид не торговать. Вообще шум не стоит внимания. Самое большое изменение произойдет у трейдеров, работающих по тиковым чартам. Там, где раньше в период помещалось 1000 тиков — сейчас надо будет 100 ставить или фиг знает.
avatar
На широких ТФ не должно сильно повлиять для классического кластера. А если уже идет анализ дельты, то там будет ааааааааааааааабсолютно другая картина. Совсем-совсем.
avatar
facevalue, да, интересует дельта. можно поподробнее? спасибо!
facevalue, и как изменится дельта? Дельта анализируется по суммарному объему во время удара по биду или аску. Здесь же агрегация проводится в пределах одного тика и одного очень короткого интервала времени (один пакет).
facevalue, не могу врубиться, почему? Думаю, в любом случае аптики и даунтики будут в разных пакетах…
avatar
anler.belyi, «сожмется» :-). Простите, пятнадцать минут думал, как ответить иначе, но не нашел вариант :-).
avatar
Mérovingien,)
стоп, а как он сожмется? ведь мы не рассматриваем тиковый график. а берем 15минутный чарт и на каждом шаге цены будет такой же проторгованный объем, как и прежде, правильно?
вот с дельтой тут сложнее, вроде как — как изменится суммарная дельта на всем рассматриваем ТФ, и как внутри ТФ на каждом шаге цены?
anler, если мы с вами говорим о cluster, то формально составные числа на графике могут быть иными. Но вы правы, для TF порядка M15 это не является актуальным.
avatar
И что, реально весь мир молчит и проглотит это? Реально, это получится псевдорынок, реальный игрок будет использовать скорость и агрегацию для того, чтобы прятать активность. ((( 99% тиковых алгоритмов захлебнутся, а это один из немногих способов нагибать сегодня рынок. Тиковые HFT-шки вообще можно выбрасывать в мусорник, потому что при распаковке будут теряться драгоценные милисекунды, за время которых пройдет еще десяток трейдов. Придется переходить на NANEX, и срочно писать распаковщик.

Хотя для тех, кто действительно занимается тиковыми нескоростными алгоритмами, это может и к лучшему — меньше умников на рынке и мальчиков, которые с коленки пишут тиковые агрегаторы. ;) Можно будет видеть внутренности агрегированных данных, которые большинству отныне так сплоху и не достать. )
avatar
facevalue, похоже, что преимущество будет у тех, кто может на прилепленном к globex сверхнизколатентном сервере искрометно препарировать биржевой выхлоп до внутренностей. Опят же, далеко не для всех это имело, имеет, или будет иметь значение, хотя я знаю, что тот же IQFeed активно противится новому формату и не будет переходить «до упора».
facevalue, думаю что прежний FIX/FAST будет доступен, только не для ритейла
avatar
Я смотрю здесь вообще мало кто понимает, насколько мощным был анализ ленты и потока ордеров. Ведь так искали не только крупняка на уровне, а также поведение толпы, и как цена реагирует на и то и другое, например как крупняк настроен продавить уровень когда 5ю ордерами небольшими сайзами закидывает уровень по бидам, щупая насколько он сильный и есть ли там еще кто покрупнее. Или как начинался импульс, как его разгоняет маркет-мейкер, да даже когда на стопы он их водит, в потоке ордеров можно было многое прочесть. Теперь в этом всем нету смысла, крупняк или толпа хрен теперь разберешь в склеиных ордерах, ппц столько труда моего теперь бесполезно…
avatar
Des, есть такое…
Des, это было актуально только для тостых рынков вроде облиг и может быть ес. На более быстрых рынках имело смысл следить лишь за большими ордерами по фильтрам и поведению цены. Там с большего ничего не изменится — итак ленты вроде реканстрактед тейп агреггировали тики по одной цене.
Des, да нормально все. Вы больше пугаетесь. Даже удобнее для многих будет. Не надо считать сколько по уровню прошло, сразу склило.
Капитан Сильвер, лента не для того, чтобы считать объем, для этого маркет профайлы и кластеры если хочется «посчитать». Видно вы никогда не занимались изучением ленты.
avatar
Des, ну почему же, записей Собано нагляделся, жуть.
Можно в уме прикинуть и объем -большой или нет в моменте.
В итоге обнаружил для себя это лишним( повелся на легенды о tape reading)
Конечно можно посмотреть и в кластере .
Для кластеров, а тем более для классического маркет профайла не изменится ничего.
Сколько прошло по цене, столько кластер и покажет. Проблемы могут возникнуть с тиковыми графиками. Да и там не очень большие. Для примера откройте ТОС, сравните. Они клеят.
Капитан Сильвер, проблема в том, что профайл и кластер как были так и будут, а вот детальный разбор последовательности принтов уже станет фейковым. Здесь нужен поток БЕЗ агрегации. Иначе все сводится к синтетическим расчетам, если вы понимаете о чем я.
avatar
Des, вы правы, в том то и беда. Агрегированные тики это против прозрачности рынка. Хотя он и так не прозрачный, но все же.
avatar
Mérovingien, изменилось, причем существенно
avatar
Des, вам виднее, но вы точно говорите о фьючерсе? Ибо я категорический антагонист формулировки «сводить на стопы» применительно к ликвидным индексным контрактам во время регулярной сессии. Акции — другое дело.
avatar
Mérovingien, не буду утверждать про ликвидные индексные контракты, они сверхликвидны, но золото, нефть да, за стопами там ходят регулярно.
avatar
Mérovingien, конечно тот же ES сводить на стопы — это выложить надо большие деньги и смысла в этом просто нету, оно того не стоит. Но это уже можно разбирать каждый рынок отдельно, под каждый рынок для ленты свои фильтры и маркет-мейкеры на разных рынках по-разному работают.
avatar
Угадайте с первого раза, кому это надо? Реально кто-то большой пролоббировал это решение. Или вы думаете это для вас сделали? Теперь ищем разводняк чуть в другой плоскости.
avatar
my_profit, сделали скорее всего из за экономии. Сервера, каналы связи…
Значит такие проги, как ATAS, станут бесполезны?
avatar
PanicSell, Некоторые функции станут не актуальны.
avatar
PanicSell, не думаю. Анализ горизонтальных объемов не пострадает, как и все бары, которые строятся непосредственно по объемам. Однако, все, что базируется на считывании каждого отдельного тика, будет нуждаться в распаковке этих тиков перед анализом.
my_profit, да. хороший вчера шорт был по 2111
avatar
Ну если пакеты суммируются, то это не значит что они внутри себя суммируются и присылаются как разность. Т.е. ни о каких минусах для «маркетдельт» говорить не приходится. И это совершенно не понятно из вашего сообщения. Скорее всего это, наоборот, большой плюс, т.к. раньше CQG большими пакетами только ритейл присылал. Поэтому остается помахать ручкой HFT и сказать им гудбай! Скатертью дорожка.

теги блога Светлана Орловская

....все тэги



UPDONW
Новый дизайн