Блог им. artie

Скрипт для скачивания полных журналов заявок (ордерлогов) по фьючерсам с ftp.zerich.com

    • 29 июня 2020, 17:01
    • |
    • Artem
  • Еще
Всем привет!

Хочу поделиться python скриптом, который позволяет скопом скачивать данные ордерлогов фьючерсов с сервера Цериха ftp://ftp.zerich.com/. Формат данных .qsh, подробнее о том как его парсить можно почитать в спецификации вот тут https://www.qscalp.ru/download.

В скрипте 5 параметров (все кавычки простые двойные ", а не то, как их отображает смартлаб):
  • download_path — путь, куда вы хотите сохранить данные (например, «C:/data/orderlog/» или же "./" для сохранения в папку, откуда вы запускаете скрипт)
  • sym_list — Список символов для скачки (например, [«BR», «RTS-6.20»]). Если здесь указать только префикс инструмента (например, RTS), то на каждую дату скачается только файл с максимальным размером. Обычно он соответствует фьючерсу с ближайшей экспирацией.
  • unzip — True, если нужно разархивировать данные после скачки (зависит от того, как вы будете дальше работать с данными)
  • date_start и date_end (в формате «2020-06-01») — даты интересующего вас интервала включительно.

Если данные за конкретную дату и инструмент уже присутсвуют в папке, заново они скачаны не будут.

Исходник скрипта https://pastebin.com/idjBYhbe

Н
адеюсь, кому-нибудь пригодится в работе.

P.S. Выражаю благодарность Цериху за данные и Николаю Морошкину, автору qscalp.ru, за работу над форматом qsh.

EDIT:
По вопросу из комментариев, отредактировал немного скрипт — теперь есть возможность скачивать стаканы и сделки. Для этого ставим параметр kind = «Quotes» (или «Deals»). Это актуально для данных по акциям и валюте.
https://pastebin.com/71EMKYzH
★23
19 комментариев
Плюсанул, т.к. Питон. Но такие данные избыточны.
avatar
3Qu, есть страты где только ордерлог поможет
avatar
Андрей К, это только пипсовка. Прибыль 3-5 п в сделке неинтересны. 20-30 п. в сделке, уже минутных свечей хватает для любого анализа.
avatar
3Qu, 
… Но такие данные избыточны.… в сделке неинтересны
я когда с вами общаюсь, практически всегда не могу понять, вы про себя говорите, или про трейдеров в целом?
avatar
Андрей К, свое мнение. В т.ч. о трейдинге в целом.
Вот АГ, скажем, ёмкость стратегии меньше 100 лямов неинтересна. И о чем с ним говорить?))
avatar
3Qu, 
ёмкость стратегии меньше 100 лямов неинтересна
тогда класс стратегий для фьчюей адаптируются на споте. Это всего лишь 1000+ контрактов на баксе.
avatar
3Qu, 
20-30 п.
ну сами сказали. Взять 20-30 пунктов фьюча Si, это когда в новости сносят стакан usdrub_tom одним трейдом. Без ордерлога тут сложно аналитить. Правда еще нужен ордерлист для валютки.
avatar
Андрей К, зачем вам это? Такое событие вы все равно не спрогнозируете, а для статистики и минут хватит.
avatar
3Qu, 
зачем вам это? Такое событие вы все равно не спрогнозируете
Вот вы опять за всех говорите свое мнение =)
avatar
Андрей К, отчего за всех? Вы мое мнение читаете, а не всех. Мне имхо через слово писать, или как?
avatar
Спасибо, плюсануть не могу!
Обработкой и визуализацией тоже через Питон занимаетесь?
avatar
First Last, я использую julia (https://julialang.org/), подозреваю, что в питоне (без numba / cython), парсинг будет очень медленным.
avatar
И ещё вопрос, так и не понял, что поменять в коде, чтобы историю акций скачивать. Есть такая возможность?
avatar
First Last, да, я постарался ее добавить в обновленной версии скрипта. Отредактировал пост, смотрите в конце ссылку.
avatar
Artem, благодарю!
avatar
Ну да, мой код перестал работать (ссылка старая). Решили повторить? Вот только у меня была конвертация в текст, запаритесь читать qsh
avatar
broker25, так есть утилита qsh в txt перегоняющая
avatar
First Last, ну есть exeшник, нужно еще разобраться как им пользоваться и перегнать кучу файлов qsh. Использовать qsh напрямую нельзя — долго
avatar
Плюсанул, спасибо. Граждане Смартлаба, сделайте, пожалуйста, на досуге парсер qsh в Питоне. Чтобы qsh в текст не перегонять, время кушает и пространство пухнет.

теги блога Artem

....все тэги



UPDONW
Новый дизайн