Эволюция протоколов МосБиржи

Привет, Смартлаб.

Вижу, подобные темы от смартлабовцев зашли в разделе алго, давайте может приоткрою завесу еще глубже. Речь пойдет про прямые сетевые протоколы взаимодействия с биржей.

Так сложилось, что в эту тематику я стал активно вхож примерно в 2016, так что, что происходило до этого, я могу лишь восстановить по каким то рассказам на каких то посиделках или конфах ) Поэтому могут быть какие то неточности в моем повествовании.

Архитектурно, у нас так сложилось на бирже, что можно выделить ядро срочки и ядро практически всего остального. Оно и понятно, сначала развивалась фонда и валюта, а уж потом срочка. Поэтому, по сей день, надо разделять: доступ на фонду/валюту и доступ на срочку. Даже практически десятилетие у этих рынков были разные часы. Представляете? Что это значит? Это когда вы одновременно клик в клик покупаете валюту и на другом терминале фьюч, а время сделок у них будет разницой в секунду, потому что часы в ядрах разные. Утак вот. Утрирую конечно, что разница в секунду, но все же. Биржа кстати часто обещалась сделать синхронизацию часов по ptp протоколу и все годами сидели и ждали. Ну или другой пример: вы на просторах СЛ часто слышали про SPAN западный, технологии которого наши применили в риск модуле срочного рынка.

Судя по всему, когда биржа начала активно развиваться как IT, за ее основу были взяты какие то готовые наработки других бирж. Это как сейчас в нашем нишево пустеющем бурно развивающем IT в стране: мы не идем по пути создании своего с нуля, а приобретаем компетенции, покупаю готовые лицензии фундамента технологий. Так появился протокол FIX, на движок которого (видимо купив его) биржа любила ссылаться наравне, как ссылается и западные биржи. Так мы получили неповоротливого мастодонта FIX. 

FIX отвечал на тот момент скорее всего всем запросам. Крайне простой для понимания протокол, в котором прям текстом передавалась вся инфа. Ну как бы вы по факсу переслали письмо с текстом: «инструмент=usdrub; цена=60; сайз=10; операция=купить». Протокол чисто транзакционный, то есть по нему можно посылать только заявки. Вот прям так пишите словами и отправляете )

На равне с фиксом, принято упоминать протокол FAST. Хрен его знает зачем. Якобы это одно и тоже. Ну фиг знает, им наверное виднее ). Во первых FAST — протокол раздачи биржевой инфы. Ну там котиры, заявки ваши обезличенные, трейды и тд ) Во вторых fix и fast похожи только чисто идеологически.  Но его реализация шфирования/дешифрования (грубо говоря парсинг протокола), совершенно иной и уже сложнее. Когда еще на сайте биржи был свой форум, ветка по фасту была самой популярной с вопросами.

Время шло, начали съезжаться не плохие алго игроки, пошло пользование протоколом и тут появилась потребность в создании некого шлюза — программная приблуда, которая отвяжет вас полностью от терминала. Через этот шлюз можно теперь получать всю инфу, которая требуется для алго: ваши лимиты, ваши счета, ваши заявки, ваши трейды и тд… и назвали его ASTS BRIDGE. Простая софтина, которая запускается у вас на сервере/машине, вы из робота подключаетесь к ней и получаете всю инфу. А она в свою очередь сама общается с биржей. Короче прокладка.

Упомяну, что тут я больше сейчас про валютку и фонду и срочку еще не затронул.  

Рынок развивался, росла конкуренция. С конкуренцией растут скорости. Ну знаете ли, каждый хочет обогнать соседа и съесть пирог по вкуснее. Вообще это самое ключевое в эволюции протокол и биржи и в дальнейшем я вам это покажу.

Так вот, скорости росли, стали появляться кулибины, которые были видать чуть старше и умнее разрабов биржи на тот момент. Стали искаться всякие ходы. И тут знаете совершенно спокойно оказалось, что эти самые софтовые шлюзи — целый клондайк. Через шлюз например, совершенно спокойно можно было вычислить, что биржа подвисла на несколько десятков миллисекунд. Сами догадайтесь на сколько важна подобная инфа? )) Ну или например, если засниффить траффик (перехватить траффик) от шлюза к бирже и в обратное направление, то совершенно спокойно можно было увидеть, что он вообще не зашифрован и можно было начать получать биржевую инфу в обход шлюза гораздо быстрее. Ну тут вы точно догадаитесь, на сколько прикольный сей момент?

Биржа все эти тонкости прекрасно понимала спустя время и осознавала и скорее всего и из за этого и чисто по маркетингу, искусственно замедлила шлюзы и в приоритет вывела по скорости сами протоколы. И это правильно. Теперь нам надо покупать и шлюз (чтобы получать инфу с терминала) и FIX и FAST. Чтобы быть на коне быстрее всех. Утаквот. Чисто бизнес, ничего личного.

Срочка развивалась своим чередом и там тоже появился свой софтовый шлюз. И естесно вы все про него слышали и стали называть его Plaza, хотя сам шлюз называется cgate если что. И ребята даже зашифровали там траффик, учитывая ошибки фонды и валютки. Но вот незадача, применили один из известных протоколов шифрования, который быстро вычислялся и начал так же юзаться в обход шлюза. Кулибины стали умнее. Конкуренция же растет. И прознав про алгоритм шифрования, стали создавать втихоря свои шлюзы, подменяя биржевой cgate. Тем самым получив прирост скорости, что неимоверно клало конкурентов на лопатки ). Увы, кулибины тоже люди ) И тоже делают баги. Помните как в те годы часто зависала биржа? Говорят это все проказники на cgate со своими багами.
Поэтому на срочке, биржа поступила точно так же, а именно замедлила cgate и в приоритет стала выдвигать протоколы.

Как я уже написал выше, FIX неповоротливый слон. Чтобы собрать сообщение на C# уходило порядка 5микросек. На c++ порядка двух микросек. Мега долго. Да, можно было потвикать свои алго и в памяти постоянно держать уже собранные сообщения на готове, но все же… А тут еще FAST со своей долгой дешифровкой. Да. Алго научились долбить оперативку и кеш CPU и выцеплять нужный котир из нее, когда еще не весь пакет зашел с кабеля… Но время уже начало диктовать свои условия...

И я хочу это подчеркнуть в первый раз, что именно время стало диктовать свои условия. У алготрейдеров появился запрос к бирже и она начала его реализовывать. И так родился протокол TWIME. Бинарный, легкий, быстрый. (помните лозунг Сочи? Жаркие. Зимние. Твои). Сообщения по твайму уже были бинарны. То есть нельзя уже было просто послать текст, теперь нужно посылать в сеть двоичные данные по определенным правилам. За счет бинарности резко уменьшились размеры сообщений. Видать ДЦ биржи вздохнул, траффик стал меньше, а самое главное, само ядро стало тратить гораздо меньше времени на обработку сообщения. Сейчас это время, от сервера до постановки в стакан каких то 80-100микросек. При этом 25 микросек — это чистый матчинг заявки в ядре. Так стали отмирать FIX на срочке.

К слову сказать, именно бинарность стала позволять внедрять участникам рынка новые железяки на бирже. Так у нас стали появляться плисоводы (от слова плис). Что это и кто это? ) Грубо говоря, участники рынка стали ставить в ДЦ железяки, которые можно запрограммировать и которые сами уже начнут торговать, как только в них вставишь сетевой кабель. Ни CPU и сервер ваш торгует. А запрограммированная железяка. Запомните этот абзац, мы к нему вернемся ) Если вы вообще дочитали до него )

Твайм развивался. Абсолютно точно так же стали находиться все его баги и тонкости. И примерно в течении года многим или некоторым стало очевидно понятно, что TWIME не дает преимущества перед другими участниками с TWIME. Ха-ха. Прикиньте, мы тратим миллионы рублей на супер технологичную реализацию, а потом оказывается, что если моя заявка самая первая прилетает на биржу за вкусным пирогом, то это не значит, что пирог достанется мне. Вот это был облом… И доподлинно не известно: это такой маркетинговый ход или это студенческая неопытность разрабов биржи?.. Почему маркетиногвый ход? Потому что участникам рынка пришлось покупать много параллельных доступов на биржу, чтобы как в рулетке, склонить вероятность попадания твоей заявки в пирог в вашу сторону.

Как я уже сказал. Все развивается и не стоит на месте и появился новый запрос. И биржа его начала реализовывать. Что они сделали? Пришли и сказали: «парни, мы все понимаем это. И готовы сделать так, что вы гонялись в честно борьбе и если ваша заявка будет первой, то конфеты ваши». И они сделали. Но только на валютном рынке и стоимостью абонентки в мес до 100тыщ рублей ). И назвали это дело FIX FIFO (типа First Input First Output). Фикс скажете вы? Вота фак? Ну вот так парни.

Все развивается и не стоит на месте. Биржа обрастает плисоводами. И тут важно знать один нюанс. Возможности их железяк не безграничны. Будем считать так, что если обучить железяку понимать FAST, FIX, TWIME и общаться самой с биржей — это уже 60% ресурса железяки.  И тут дальше пойдум мои домыслы, но я уверен, пошло некое лоббирование определенными участниками рынка. Они стали рождать спрос и лоббировать свои интересы и выступать за резкое упрощение протоколов. Поэтому, когда вы пишите, что биржа мол #ибилы, нафига это все делает? Не все так просто парни. Делает, значит надо. Или кому то надо ) Или удовлетворяет за дикие деньги спрос. Так у нас родились по всем секторам рынка современные протоколы, а именно: FAST теперь в прошлом по скорости и его заменила да-дам SIMBA. FIX теперь в прошлом по скорости и его заменил да-дам TWIME ASTS.

Да-да. Валютный рынок перешел теперь полностью на бинарные протоколы. И SIMBA и TWIME ASTS являются полностью бинарны, очень просты в расшифровке и тд… при этом тонкости SIMBA построены так, что полностью ориентированы для плисоводов. Тонкости рассказывать не буду, один фиг чисто технические нюансы.

Так парни и живем. Развиваемся и офигиваем от новых реальностей с их ценами на все это дело добро.

У меня все, простыню окончил.