Блог им. karat39

Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#

Вступление

     Никогда не увлекался скоростным трейдингом. Всегда хватало терминала. Изучать этот протокол меня побудил набор вакансий. Надо отметить, что я неспешно перебираю хорошие вакансии на рынке. Частному трейдеру очень сложно развиваться в одиночку — психологически, эмоционально, физически. Создавать и развиваться постоянно хочется, поэтому принял решение вливаться в коллектив. За несколько месяцев, мне удалось провести несколько собеседований. На втором этапе я проваливался именно из за не знаний протокола.  Предметную область я примерно представлял. Ну что там сложного? Соединился с биржей по сокетам и начинай обмен сообщениями. Надо отметить, что в этой области есть уже готовые разработки в виде quickfix или готового API от StockSharp (правда платные). Но я принял решение разбираться с нуля, чтобы вникнуть в детали.

Технические аспекты протокола


     Итак. Любой протокол, какой бы он сложный не был, работает примерно одинаково. Мы создаем у себя соединение с сервером, устанавливаем некий туннель между нами и сервером, посредством которого будем обмениваться сообщениями. Протокол — это как раз и есть набор правил, по которым строятся сообщения нужного формата. Если говорить технически, то мы должны создать сокет соединение с сервером на указанный порт.
Сообщение в FIX, как и в любом другом протоколе, состоит из нескольких блоков:
  • <Заголовок сообщения>
  • <Сообщение>
  • <Концовка сообщения>
     Наша задача, правильно заполнить эти блоки и отправить на сервер. Заголовок сообщения в свою очередь состоит из следующих данных:
  • <Начало сообщения, версия протокола>
  • <Длина (размер) сообщения>
  • <Тип сообщения>
  • <Идентификатор отправителя>
  • <Идентификатор получателя>
  • <Номер сообщения>
  • <Время отправки>
     Обращу ваше внимание, что я перечисляю обязательные поля. Есть еще и дополнительные. Концовка сообщения должна выглядеть так:
  • <Контрольная сумма сообщения>
     Сами данные заполняются достаточно легко. В виде: <тип поля> = <значение>. Например, <длина сообщения> = 78, то есть мы серверу говорим, что размер передаваемого нами сообщения составляет 78 байт. Стоит обратить внимание, что в протоколе FIX, типы полей кодируются в виде числовых значений. Например,  <длина сообщения> в протоколе передается как цифра 9. Исходя из выше сказанного, наш заголовок сообщения, выглядел бы следующим образом:
  • 8=FIX.4.4 _____ начало сообщения, протокол версии 4.4
  • 9=78 _____ размер сообщения 78 байт
  • 35=A _____ тип сообщения А, что означает попытка на соединение с сервером
  • 49=<ваш идентификатор выдается биржей>
  • 56=FG _____ идентификатор получателя, раздел Forts на бирже
  • 34=1 _____ первое сообщение
  • 52=20160212-11:42:51.812 _____ время отправки сообщения

Организационные вопросы

  1. Наша биржа дает тестовый контур для отработки своих алгоритмов по данному протоколу. Надо всего лишь написать запрос на доступ. Надо признать, тех служба работает отменно. Очень все быстро было организовано. Подробности http://moex.com/s442
  2. Обязательно понадобится описание протокола для нашей биржи ftp://ftp.moex.com/pub/FIX/Spectra/test/docs/spectra_fixgate_ru.pdf
  3. Чтобы вникнуть в тонкости передачи, мне очень помогла эта программа от биржи (позже я покажу как помогла) ftp://ftp.moex.com/pub/FIX/Spectra/Utils/fix_client.zip
  4. Описание самого протокола от создателей (на английском). Мне помог сильно wiki. http://fixwiki.org/fixwiki/FIXwiki
  5. Чтобы найти свои ошибки, мне приходилось перехватывать сообщения рабочего клиента биржи и сверять со своими. Для этого мне понадобился tcp/ip сниффер — программа перехвата сетевого трафика.
  6. Разработку я веду на c#.

К бою. Немного теоретической практики

     На момент изучения протокола, я уверен, многие столкнуться со следующими вопросами:
  • как именно считать длину сообщения
  • как разделять между собой данные
  • как считать контрольную сумму

     Если говорить образно. То, чтобы отправить сообщение на сервер, нам просто нужно сформировать нужную строку со всеми данными и отправить ее на биржу. Ну например:

8=FIX.4.4
;9=78;35=A;49=FG;56=tgFhcfx901U05;34=1;52=20160212-11:42:51.812
;98=0;108=3000;141=Y;10=047;

Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#

     Если быть внимательным, то мы увидим, что кол-во символов в строке у нас 100, а в заголовке сообщения мы передаем, что 78 (9 = 78). По правилам протокола FIX, длину сообщения нужно считать без учета концовки и первых двух полей заголовка. А именно:

Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#     С длиной сообщения разобрались. Теперь про разделитель. Пока в моем скрине это ";". В документациях западных написано что это символ SOH. Чтобы однозначно ответить на этот вопрос, я запустил прилагаемого клиента биржи и сниффером стал перехватывать сообщения между клиентом и биржей. Кстати, программа ведет логи, и их общение выглядит так (зеленое — передача запроса на биржу, красное — ответ от биржи):
Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#
     Зачеркнул свой идентификатор, прошу понять правильно. Ну а перехват сообщения выглядит так:
Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#     Зеленым я отметил именно разделители. Как вы уже видите, это просто в шестнадцатеричном виде код 01. То есть, в нашу строку в виде разделителей, нужно вставлять код 01. Также я отметил для себя последовательность полей в сообщении. Почему то в другом порядке у меня вызывало ошибки (возможно тут я не прав)
Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#     Ну и контрольная сумма. Контрольная сумма считается над всем сообщением, за исключением концовки. То есть в расчет берется только заголовок и само сообщение. Для этого, мы переводим каждый символ в его Ascii код и вычисляем их сумму. Полученную сумму делим по модулю 256. Это и будет контрольной суммой сообщения. При этом, значение должно быть трехзначным. Если мы получаем 2 знака, то подставляем 0 слева (например, если контрольная сумма = 68, то должны передать значении 068).

К бою. Начало программирования

     В законченном виде, разработка будет составлять готовый класс, для работы с протоколом. Теперь начинаю строить его по кирпичикам. Для начала, я создал несколько классов:
  • класс для работы с заголовками
  • класс для работы с сообщением подключения к серверу (onLogon)
  • класс для работы с концовкой
    Каждый класс включает в себя поля, которые передаются и некоторые методы для их обработки.
    Класс для работы с заголовками. Пока просто выглядит так: 
Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#

Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#     Как видим, первый метод строит нужную строку из полей. Обратите внимание, там присутствует наш разделитель в виде спец символа \u0001. Второй метод вычисляет размер заголовка (чтобы потом высчитывать размер сообщения). Надо обратить внимание, что при передачи времени, миллисекунды должны указываться в трехзначном формате (даже если миллисекунды = 52, то передаем 052). Следующие классы строятся по аналогии.
Класс создания сообщения на подключение (инициализация сессии)
Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#
Класс создания концовки сообщения
Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#

Попробую привести код консольной программы для теста в виде цитаты. Картинки вставляются плохого качества. Подробно комментирую.

//Получаем ip сервера
IPAddress ipAddr = IPAddress.Parse(server);
IPEndPoint ipEndPoint = new IPEndPoint(ipAddr, port);
//Создаем заголовк
HeaderMessage msHeader = new HeaderMessage
{
BeginString = «FIX.4.4»,
MsgType = «A», //Тип сообщения на установку сессии
SenderCompID = "",
TargetCompID = «FG»,
MsgSeqNum = 1
};
//Создаем сообщение на подключение onLogon
LogonMessage msLogon = new LogonMessage
{
EncryptMethod = 0,
HeartBtInt = 3000,
ResetSeqNumFlag = true
};

//Вычисляем длину сообщения
msHeader.BodyLength = msHeader.GetHeaderSize() + msLogon.GetMessageSize();
//Создаем концовку сообщения
TrailerMessage msTrailer = new TrailerMessage(msHeader.ToString() + msLogon.ToString());

//Формируем полное готовое сообщение
string fullMessage = msHeader.ToString() + msLogon.ToString() + msTrailer.ToString();
Console.WriteLine(«Сообщение для отправки {0}»,fullMessage);

//Создаем сокет для подключения
sSender = new Socket(ipAddr.AddressFamily, SocketType.Stream, ProtocolType.Tcp);
//Подключаемся
sSender.Connect(ipEndPoint);
Console.WriteLine(«Сокет соединился с {0} », sSender.RemoteEndPoint.ToString());


byte[] msg = Encoding.UTF8.GetBytes(fullMessage);
//Отправляем сообщение
int bytesSent = sSender.Send(msg);
Console.WriteLine(«Отправил {0} байт», bytesSent.ToString());


//Получаем ответ от сервера
byte[] bytes = new byte[1024];
int bytesRec = 0;
bytesRec = sSender.Receive(bytes);
Console.WriteLine(«Ответ от сервера: {0}», Encoding.UTF8.GetString(bytes, 0, bytesRec));


Все таки приложу и в виде картинок. Так наглядней. Кликабельно.
Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#
Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#
В результате мы запросили у сервера подключение с нашим логином. И получили от него ответ.
Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#
По мере развития, буду продолжать с теоретической частью. Если модераторы перенесут в раздел «Алго», я не против.

Продолжение Изучаю FIX протокол с нуля. Рисуем и программируем дальше.
★81
55 комментариев
по-моему код можно вставлять через
код
код 
код
«pre»
avatar
ПBМ, спасибо, буду пробовать. Статья дебютная, не все умею.
avatar
Андрей К, ого, я как раз за него взялся :) спасибо.
avatar
Андрей К, 
как вариант для кода можно использовать
pastebin.com/
там даже регистрация не нужна
это код который в виде цитаты
pastebin.com/Af3s24hN
Здравствуй Коля, спасибо, сейчас изучу.
avatar
Это китайский?
avatar
Millenium, о чем именно вопрос?
avatar
Спасибо интересно!
Но код в jpg — это сурово
avatar
Иванов, не спорю. Для наглядности лучше не придумал.
avatar
Продолжайте:) с нетерпением жду продолжения :)
avatar
Супер! Как глоток свежего воздуха на фоне местного трэша! Пиши еще, очень интересно!
avatar
Adept, полностью поддержу, причем (лично)  не техническая составляющая/кейс вызвали интерес, а мотивы из вступления. хотя (народу) топик ценен, конечно, вопросами реализации
avatar
сейчас некогда разбираться, но однозначно неистово плюсую за такую тему +++
avatar
ждем продолжения
avatar
Очень интересно и полезно! Спасибо!
avatar
Продолжайте однозначно. Очень интересно и подробно описано.
avatar
Тимофей Мартынов , недавно интересовались fix, насколько я помню.
avatar
хе хе -я 10 лет назад писал эмулятор такого рода: — он получает запрос по фиксу — например ордер — и или выполняет его, или реджектед, или выполняет и присылает bast потом. Это можно куда-то пристроить сейчас?
avatar
MezonMaksimov, даже не знаю. 10 лет назад на ммвб не было фикса. У вас наверное под западный. Я спецификацию ммвб листаю, там есть сноски на различие.
avatar
MezonMaksimov, Ээээ может кухню запилить с доступом по фиксу? )))
Бабёр-Енот, хе хе, ордера у меня выполняются всегда, разоримся :)
avatar
Спасибо автору за труд! интересно и полезно
avatar
valmac, спасибо. Я написал во вступлении. Меня не совсем интересуют готовые решения. Хочу знать досконально, поэтому создаю такой проект.
avatar
Андрей К, переносите проект в опенсурс- регайте на github.com — получите плюсы при поиске работы программистом )
avatar
valmac, спасибо за идею. Подумаю. Не совсем опытный в этом.
avatar
Интересно, спасибо.
 
avatar
я не придираюсь, но если идентификатор действительно важен, его нужно затирать тщательнее: с первого скрина можно его распознать почти полностью.
avatar
Agent Smith, там я сознательно для примера видоизменил. Спасибо
avatar
Андрей К, я ошибся с нумерацией скринов. Имел в виду окно с дебаг логом.
avatar
Молодец. В правильном направлении идете. Давно пора всем изучить Fix и Api протоколы.
avatar
Плюсую!!! Вы ищете вакансию программиста, а не трейдера? Почему решили концентрироваться в области биржевого программиста по найму?
avatar
MyProfit, честно говоря я откликаюсь на любую интересную от джуниора до кванта. Я знаю свои силы, мне главное зацепиться. Устал один дома. Социально деградирую, никакого роста (кроме своих разработок), хромает стабильность. Я человек команды
avatar
Всё что тут написано прямо так и просится в ассемблер =)
Надо бы сразу писать на C++ со вставками асма. А можно даже на чистом асме. Будет шикарно и просто. Шарп нужен для графического анализа данных, а не в коннекторе.
Fry (Антон), честно говоря я Delphi отдал около 15 лет. c# полюбил за его возможность мощно работать с классами и коллекциями. Если асм даст прирост расчетов, можно будет попробовать вставить. Но это не скоро.
Кстати, я не против и потом поизучать скорость и сравнить с c++ в рамках свободного времени.
avatar
Андрей К, имхо в жопу этот .net 
В Дельфе там хоть понятно чего происходит. А чего непонятно — можно посмотреть. А в C# если чё, то хер поймешь что где и, главное, за счет чего начинает тормозить!
Вот например давича например метод List<T>.LastOrDefault… вот хрен его знает чё он тормозит… но судя по вторичным признакам он умудряется искать нужный элемент перебором не с конца а с начала!!! Это пиздец я считаю…  и сколько там еще таких сюрпризов?
Андрей К, скорость достигается специализацией алгоритмов, а не языком программирования. Имхо.
avatar
Fry (Антон), насколько % с++ даст прирост скорости?
avatar
MyProfit, вопрос очень спорный. Нужно изучать предметно с проведением опытов. Например в данной задаче нужно много работать с лексемами, строками, парсингом и тд. С# в этом плане очень силен. Беспредельно силен я бы сказал, если знаешь все тонкости использования.
Сейчас кстати делал замеры. На процедуру подключения и сразу отключения уходит 150 млсек. Наверное можно быстрее, но меня и эта цифра удивила.
avatar
Андрей К, а еще идея: блог на хабре по дев процессу плагина своего...
а еще англ версию сделать блога такого… )))
avatar
Чуваки никаких C# для algo. Там же сборщик мусора — он тупо фризит ваш процесс непредсказуемо и фсе… Вы попадаете.
avatar
ELab, есть такой момент. Работа с памятью узкий момент в c#. Но во фреймворке 4, сборщика вывели в фоновый поток, оптимизировали алгоритм. Стало получше, правда на мой взгляд не идеально.
avatar

я тут посмотрел на http://www.itinvest.ru/pricing-n-docs/tariffs/direct-access/
если FIX для ФОРТС, то в месяц будут брать как я понял 2360+50%=3540р
Зато независимость от терминалов

Можете на форуме биржи личные сообщения прочесть?
avatar
Александр Ивашкевич, спасибо. Ответил в скайп.
avatar
На биржевом форуме натыкался на пост о том, что, дескать, реализация FIX/FAST на нашей бирже не совместима с реализациями на иностранных биржах. Так ли это?
avatar
Enfernuz, есть незначительные различия. Я много читаю из официального стандарта и реализовывал на нашем протоколе.
avatar
Платформы с FIX API и просто трейдерские терминалы можно взять здесь: http://getanyplatform.com
avatar
Алимат Мирзо, это вы для чего написали? =))
avatar
Здравствуйте Андрей!Я начал разбираться с FIX -протоколом, и попал на цикл Ваших статей: «Изучаю FIX протокол с нуля. Разбор протокола, первый код на c#». Мне понравилось как Вы объяснили и изложили материал, но у меня остались вопросы. Можно было бы взглянуть на код вашей программы, это мне очень помогло бы.
avatar
Andrew Z, добрый день, коды дать не получится, но вы можете спросить, я попробую вам ответить.
avatar
Здравствуйте.Меня интересует, как можно не лету FIX-сообщения преобразовать в объекты класса и по возможности не нагружать оперативную память, то есть полученный объект я сразу буду писать в базу, файл итд.
avatar
Andrew Z, 
на лету никак. Входящие сообщения же динамические с динамическими полями. Это означает, что длина полей каждый раз может быть разная. 
Для этого вы должны написать парсер:
1) Разделить входящее сообщения на поля 
2) Выяснить тип сообщения
3) В соответствии с типом сообщения разобрать остальные поля сообщения
avatar
Андрей, у меня есть пример логов, но я не могу понять, что означает последних три числа после FIX-сообщения и цифры (104:O:N 104:I:N) в начале, можете подсказать?


103:O:N 20150303-23:01:02.920: 8=FIX.4.49=7035=049=100108356=77MARKETS34=10357=PRICE52=20150303-23:01:02.92010=038 125
103:I:N 20150303-23:01:03.883: 8=FIX.4.49=7035=034=10349=77MARKETS50=PRICE52=20150303-23:01:03.84356=100108310=036 125
104:O:N 20150303-23:01:32.920: 8=FIX.4.49=7035=049=100108356=77MARKETS34=10457=PRICE52=20150303-23:01:32.92010=042 125
104:I:N 20150303-23:01:33.883: 8=FIX.4.49=7035=034=10449=77MARKETS50=PRICE52=20150303-23:01:33.84356=100108310=040 125



avatar
Andrew Z, вы когда пишите, нажимайте на меня, чтобы сообщение мне адресовалось, тогда я буду получать уведомления.

То что вы меня спросили, к фикс не относится, ни концовка, ни начало. Это вы привели чьи то текстовые логи, кто то для себя формировал.
103 — это наверное порядковый номер заявки/трейда, O — это наверное output, i — это наверное input
Но еще раз, к фикс это не относится вообще.
avatar

теги блога Андрей К

....все тэги



UPDONW
Новый дизайн