Скрипт для скачивания полных журналов заявок (ордерлогов) по фьючерсам с ftp.zerich.com

Всем привет!

Хочу поделиться python скриптом, который позволяет скопом скачивать данные ордерлогов фьючерсов с сервера Цериха ftp://ftp.zerich.com/. Формат данных .qsh, подробнее о том как его парсить можно почитать в спецификации вот тут https://www.qscalp.ru/download.

В скрипте 5 параметров (все кавычки простые двойные ", а не то, как их отображает смартлаб):

download_path — путь, куда вы хотите сохранить данные (например, «C:/data/orderlog/» или же "./" для сохранения в папку, откуда вы запускаете скрипт)
sym_list — Список символов для скачки (например, [«BR», «RTS-6.20»]). Если здесь указать только префикс инструмента (например, RTS), то на каждую дату скачается только файл с максимальным размером. Обычно он соответствует фьючерсу с ближайшей экспирацией.
unzip — True, если нужно разархивировать данные после скачки (зависит от того, как вы будете дальше работать с данными)
date_start и date_end (в формате «2020-06-01») — даты интересующего вас интервала включительно.

Если данные за конкретную дату и инструмент уже присутсвуют в папке, заново они скачаны не будут.

Исходник скрипта https://pastebin.com/idjBYhbe

Надеюсь, кому-нибудь пригодится в работе.

P.S. Выражаю благодарность Цериху за данные и Николаю Морошкину, автору qscalp.ru, за работу над форматом qsh.

EDIT:
По вопросу из комментариев, отредактировал немного скрипт — теперь есть возможность скачивать стаканы и сделки. Для этого ставим параметр kind = «Quotes» (или «Deals»). Это актуально для данных по акциям и валюте.
https://pastebin.com/71EMKYzH

торговые роботы скрипты

Artem

Москва

с 4 ноября 2019

19 Комментариев

3Qu
29 июня 2020, 17:44
Плюсанул, т.к. Питон. Но такие данные избыточны.
0
- Андрей К
  29 июня 2020, 18:11
  3Qu, есть страты где только ордерлог поможет
  0
  - 3Qu
    29 июня 2020, 18:44
    Андрей К, это только пипсовка. Прибыль 3-5 п в сделке неинтересны. 20-30 п. в сделке, уже минутных свечей хватает для любого анализа.
    0
    - Андрей К
      29 июня 2020, 18:45
      3Qu,
      … Но такие данные избыточны.… в сделке неинтересны
      я когда с вами общаюсь, практически всегда не могу понять, вы про себя говорите, или про трейдеров в целом?
      +2
      - 3Qu
        29 июня 2020, 18:48
        Андрей К, свое мнение. В т.ч. о трейдинге в целом.
        Вот АГ, скажем, ёмкость стратегии меньше 100 лямов неинтересна. И о чем с ним говорить?))
        0
        Андрей К
        29 июня 2020, 18:51
        3Qu,
        ёмкость стратегии меньше 100 лямов неинтересна
        тогда класс стратегий для фьчюей адаптируются на споте. Это всего лишь 1000+ контрактов на баксе.
        0
    - Андрей К
      29 июня 2020, 18:49
      3Qu,
      20-30 п.
      ну сами сказали. Взять 20-30 пунктов фьюча Si, это когда в новости сносят стакан usdrub_tom одним трейдом. Без ордерлога тут сложно аналитить. Правда еще нужен ордерлист для валютки.
      0
      - 3Qu
        29 июня 2020, 18:51
        Андрей К, зачем вам это? Такое событие вы все равно не спрогнозируете, а для статистики и минут хватит.
        0
        Андрей К
        29 июня 2020, 18:52
        3Qu,
        зачем вам это? Такое событие вы все равно не спрогнозируете
        Вот вы опять за всех говорите свое мнение =)
        0
        3Qu
        29 июня 2020, 18:55
        Андрей К, отчего за всех? Вы мое мнение читаете, а не всех. Мне имхо через слово писать, или как?
        0
First Last
29 июня 2020, 23:04
Спасибо, плюсануть не могу!
Обработкой и визуализацией тоже через Питон занимаетесь?
0
- Artem
  30 июня 2020, 15:19
  First Last, я использую julia (https://julialang.org/), подозреваю, что в питоне (без numba / cython), парсинг будет очень медленным.
  0
First Last
30 июня 2020, 00:39
И ещё вопрос, так и не понял, что поменять в коде, чтобы историю акций скачивать. Есть такая возможность?
0
- Artem
  30 июня 2020, 15:20
  First Last, да, я постарался ее добавить в обновленной версии скрипта. Отредактировал пост, смотрите в конце ссылку.
  +1
  - First Last
    30 июня 2020, 15:49
    Artem, благодарю!
    +1
broker25
30 июня 2020, 09:59
Ну да, мой код перестал работать (ссылка старая). Решили повторить? Вот только у меня была конвертация в текст, запаритесь читать qsh
0
- First Last
  30 июня 2020, 12:23
  broker25, так есть утилита qsh в txt перегоняющая
  0
  - broker25
    30 июня 2020, 16:24
    First Last, ну есть exeшник, нужно еще разобраться как им пользоваться и перегнать кучу файлов qsh. Использовать qsh напрямую нельзя — долго
    0
Евгений Шибаев
30 июня 2020, 17:03
Плюсанул, спасибо. Граждане Смартлаба, сделайте, пожалуйста, на досуге парсер qsh в Питоне. Чтобы qsh в текст не перегонять, время кушает и пространство пухнет.
+1