Исторические данные FORTS. Тики.

Доброго дня всем.

Захотелось добыть тиковые исторические данные, желательно с направлением сделки и миллисекундным таймштампом.
Захотелось потому что апи которое я использую (транзак),  тики дает скачать только за текущий день, и если накануне торговый терминал был выключен до конца сессии или вообще не запускался, на графиках образуются неприятные дырки. Можно в принципе было бы как то решить этот вопрос с помощью виндозного планировщика заданий, только надо, опять же, следить чтобы компьютер был включен в определенные моменты времени или вообще его не выключать, ну в общем надо постоянно надо быть озабоченным какой то хренью, что в принципе напрягает. 

Знаю про вариант с финамом, но решил поискать альтернативы, и оба, есть оказывается несколько общедоступных источников, которые содержат историю, и не только тиковую, а в том числе и полный лог ордеров, аж за несколько лет. Это архивы данных в формате *qsh, этот формат использует скальперский привод Николая Морошкина Qscalp. Задачей стала автоматизация доставки данных на свою машину, расшифровка и создание формата данных который понимает моя торговая платформа. Спасибо кстати самому Николаю, он любезно прояснил несколько моментов, которые путем простого курения мануала *qsh понять было непросто.

На выходе получись примерно следующее:



То есть легко качаются данные за выбранный период по инструменту, извлекаюся из архивов, читаются и перезаписываюся в произвольной форме.
Форма на выходе не обязятельно текстовая, я текст использовал только на этапе отладки и проверок, себе пишу сразу в бинарный файл, который совместим с бд моей платформы.

На скрине видно, что средством записи исходного *qsh файла был апи смартком. Этот продукт немного знаком, несколько лет назад я пробовал его использовать, исплевался и забыл, поэтому в качестве предлагаемой истории вначале возникли законные сомнения. Поскольку есть альтернативный вариант получения истории по тем же инструментам, и это полный ордерлог с сайта Цериха, решил сделать проверочку. Скачиваю ордерлог, собираю стакан, исполняю ордера, получаю трейды. Сравниваю с тиками смарткома, и к моему удивлению, совпадает все до последнего знака. Таких проверок выполнил два десятка на наиболее ликвидных тикерах, единственный косяк у смарткома это дублирующаяся запись последнего трейда в конце каждой сессии, но это легко исправляется, так как записи содержат deal id.

Можно в принципе конечно и с файлами ордерлогов работать, на выходе будут те же трейды и еще с  ценой лучшего бида и лучшего аска, но по времени это раза в два три дольше получается с учетом всех манипуляций с данными которых намного больше приходися скачивать.

Если у широкой публики есть интерес к теме, могу в принципе залить куда нибудь программу для свободного скачивания, надо только будет сделать коротенький readme, в принципе пользоваться ей довольно просто.