Блог им. ch5oh

Простой рецепт где взять исторические данные

    • 19 мая 2020, 14:18
    • |
    • ch5oh
  • Еще

Некоторое время назад прошла волна постов "Где мне взять нахаляву подешевле рыночные данные для тестирования своих торговых роботов?" и была предложена масса вариантов, начиная от "дергать ISS", до «хакнуть Финам» и "да я своего вендора сейчас напишу и буду раздавать данные из Квик".

 

Немного забавно читать, как матерые трейдеры, зарабатывающие от 100% в месяц, жмутся оплатить подписку на МФД или ещё где-то и занимаются странными телодвижениями по раздобыванию очень странных бесплатных данных непойми кем составленных и непойми какого качества. По результатам анализа которых будут торговать роботы и показывать финрез, мягко говоря, противоположный тестам на истории.

 

 

Простой (неправильный) ответ лежит на поверхности: данные удобно брать у своего брокера. По здравым размышлениям крайне странно, что Финам был готов раздавать гигабайты тиков всем желающим со своего сайта без регистрации, но при этом имел ограничение на скачивание истории минутных баров через протокол Транзак (по моим сведениям 1 месяц минуток был доступен).

 

И тут случайно выясняется, что мой брокер оказался большим молодцом и тихой сапой реализовал приличный сервер истории. За что ему низкий поклон брокерская комиссия ежемесячно большая.

 

Сначала удивился возможности скачать минутки М1 по давно умершему фьючерсу MXZ7:

Древний фьючерс

Потом восхитился возможности скачать минутки М1 аж с незабываемого «народного наипо» в 2007 (кстати, зацените мой любительский теханализ этой бумаги):

Народное наипо

И как вишенка на торте — кровеносная кровососная система страны с 2001 года:

Кровосос

Большое человеческое спасибо за возможность больше не заниматься ерундой и не перегонять данные в виде стометровых текстовых файлов. Пожелания по доработке протокола подключения озвучивать бессмысленно, так что закончим в мажоре.

 

Да пребудет с Вами Вола!

 

 

★1
36 комментариев
У вас в никнейме после углерода не хватает 2
Егор, это влияние C2H5OH на мозг 
Как в анекдоте:
— «ОН». Попробовал. Точно он! 
avatar
Это айти инвест?
avatar
минутки ...
itinvest сделал бы для клиентов order log, хотя у них и сделки только за посделний час, помоему не больше.
avatar

My Shadow, через бесплатный SmartCOM гнать full order log??? Однако. 

 

А 10 тыр/мес, как за Plaza-2 не хотите выложить?
С обязательной колокацией в датацентре АйтиИнвеста? 

avatar
ch5oh,
зачем через SmartCOM, который и не совсем бесплатный ...
Plaza2 — это realtime, я же про историю говорю, некоторые брокеры выкладывают в qsh даже не для своих клиентов и ничего, itinvest хотя бы для своих сделал.

ps
А в SmartCOM может стакны пошире сделать, тем более в бесплатном квике они сильно шире.
avatar

My Shadow, 1) а кто сейчас выкладывает QSH?
Раньше Церих был добрый, но им надоело пару лет назад насколько понял.

 

2) Почему Вы пишете, что "SmartCOM не совсем бесплатный"?
У Вас какой-то особенный смартком?
Специальный выделенный сервер за отдельную денежку?

 

3) Не понял: Вам нужна "тиковая история" или "full orders log"?
Вы разницу понимаете между этими вещами?

avatar
ch5oh,
1) смотрите  www.qscalp.ru в Истории торгов, и Церих вполне себе выкладывает, не надо наговаривать на них

2) это наверно у Вас как то совсем бесплатный SmartCOM, для всех остальных так:
Взимается в размере, равном разнице между 600 (Шестьюстами) рублями и суммой уплаченных Клиентом брокерских комиссий в случае, если они менее 600 (Шестисот) рублей. Отключение возможно не ранее последнего календарного дня месяца.

 iticapital.ru/tariffs/additional-services/direct-access/

3) я помоему четко написал что нужно — история order log (например в .OrdLog.qsh), и для Вашего свединия SmartCOM и так умеет отдавать историю сделок (то что Вы называете тиковая история), но не глубже часа от текущего времени, что для анализа слабо интересно.
avatar

My Shadow, 

Церих вполне себе выкладывает

А ссылочкой рабочей не поделитесь?
Когда был на их ФТП последний раз, там архивы обрывались на какой-то дате.

avatar
ch5oh, 
ftp://ftp.zerich.com/pub/Terminals/QScalp/History/
за вчера там есть данные
avatar

My Shadow, большое спасибо!
Признаю: Церих — тоже большие молодцы. 

avatar
Свой анализатор уровней в виде сайта, нужный мне сделал, и реально и удобно его было сделать только через свою базу данных и веб-интерфейс.
(Может быть презентую как-нибудь :))

Нужно было реализовать подкачивание ежедневных данных по акциям и commodities. Желательно с первспективой иностранных бумаг. Только дневной таймфрейм.

В итоге пришел к тупому investing.com — есть все, что нужно, но сосет долго.
Сайт Finam хорош для начальной «оптовой» загрузки данных и не более.

Не очень понимаю, как API для квика по Lua будет устроено, если у меня скачивалка и анализатор на Java (как сервлет, но не суть — язык один)?
Если, допустим это делать через Квик (и держить его включенным в  момент обновлений).


Можно поподробней что за API использовали в этом примере, побольше технических деталей?


PS. График кровососной системы на 2006 и 2018-2019 рисует повторяющийся фрактал =)
avatar

thankODD, 

Можно поподробней что за API использовали в этом примере, побольше технических деталей?


У этого брокера есть свой собственный бесплатный протокол для подключения. Не будем называть имен. (Совсем некстати получится, если набегут всякие криво-руко-умники и положат сервер брокера своими тупыми запросами бесконечными.)

 

А дальше и деталей никаких нет. Подключил TSLab (для закачки данных достаточно лицензии Lite за 1 тыр/мес) — и велел нарисовать мне график акции "за сколько лет сможешь". Результатом был удивлен.

avatar
Нормальная у Финам история. Всю не качал и не проверял, разумеется, мне там не оч много и нужно. А выборочно — все ОК. Даже если есть там огрехи — не критично, на истории пока еще никто не торговал.)
Для массовой скачки — это уже ваша тема.
avatar

3Qu, публичную историю с их сайта периодически поругивают.
Я-то без претензий. На безрыбье дареному коню и хрен сладкий.

avatar
алор что ли
avatar
Я один не понял, о чем пост кроме рекламы тслаба?))
avatar

Sergey Pavlov, дааа… чет Вы сегодня сильно затупили. На Вас не похоже.

Это вообще не «реклама TSLab».
Это дань уважения известному Вам брокеру.

 

=) Впрочем, даже рад, что Вы не прониклись. Зная Вашу обстоятельность могу запросто представить себе, как Вы начинаете выкачивать всю доступную историю по всем инструментам и сервер брокера ложится под натиском.

avatar
ch5oh, для дани многовато букаф.

зацените мой любительский теханализ этой бумаги

Не заценил — он даже по истории ни о чём.
Если честно, удивили, вы мне как-то по-другому представлялись.
avatar

VladMih, что, треугольник неправильно построен? Вот знал же, что тщательней надо!..

 

А Вы бы какой ТА здесь нарисовали?

avatar
Sergey Pavlov, нас двое )
avatar
Sergey Pavlov, это реклама брокера ) Я думаю, что Антон просто хотел сказать, что есть брокеры, у которых есть API, позволяющее получать исторические данные бесплатно. В частности ITI Capital и (наверное, надо проверить) Алор. Возможно, что-то есть и у других
avatar

tashik, Транзак проверьте, если есть под рукой. Он по-прежнему только месяц М1 отдаёт?

 

 

ПС На радостях попробовал сегодня запустить OS.Engine на смарткоме...  

Видимо, не мой день. Или крики о её крутизне, мягко говоря, преждевременны.

Конечно, "0 разделить на 0" и всё в таком духе… =/

avatar
ch5oh, нет смарткома, не подскажу. Transaq у меня через Осю, и с ограничением 2 дня (ограничение Оси, не брокерское). Данные, нужные мне, у меня есть с 14 года, хороший человек поделился, если надо — напишите, я думаю, он и с Вами поделится )
avatar

tashik, мне просто было интересно развивается ли Финам в нужную сторону или стагнирует?

 

Ну, может быть, Sergey Pavlov или коллеги подскажут. Насколько понимаю, он торговал всеми видами коннекторов, которые только существуют в природе. =)

avatar
Через смартком в этом году пропали концы от фучей раньше 13го года, что грустно. Выкачанные кэши тслаба остались, но что-то биржа с индексацией фучей не додумала…

Sergey Cellinsky, недодумала — это точно. Никто не верил, что проживет так долго??? А мы теперь мучаемся. Данные по LKM0 запросто могут свалиться на тикер 2010 года, если заранее не подсуетиться с переименованием.

 

Причем с неудобным полным кодом нет проблем.
Сбоит именно удобный для человека короткий 4-х символьный. =(

avatar
Мда... 
Я все время бухчу на MT5 с Открытием, что у них кривоватые данные за 2014 год в склейках на тиковые! данные по фьючерсам 
А тут такая радость от минуток MXZ7.

Дмитрий Овчинников, зато Ваш МТ не только не умеет торговать опционы, но и вообще блокирует их использование на счете даже через другие терминалы.

 

Просто дикость и варварство!  =)

avatar
ch5oh, 
во-первых он далеко не мой :)
во-вторых да, тут вы правы. 
более того, это убожество не дает даже фонду торговать с того же счета!
но вы тут вроде про данные тему подняли. так вот данные из МТ5 можно экспортировать в 2 секунды. ну и да, бесплатно! :)
Дмитрий Овчинников, кажется, Вы отредактировали комментарий возможностью «экспорта из МТ в 2 секунды»?


=) тогда 2 вопроса на засыпку:
1) Какое время сделки стоит в склеенной истории МТ?

2) Сколько времени займет экспорт тиковой истории во внешний файл за 1 год по ликвидному фьючерсу типа СИ или РИ?

Сколько места он будет занимать на диске?


3) Какая Вам польза от чужой тиковой истории?
Кроме возможности собрать секундные бары, конечно? =)
avatar
ch5oh, 
1. не понял вопроса, переведите, пожалуйста
2. Сделал эксперимент. Си с 01012019 по вчера
-формирование данных около 3 минут

-Экспорт в файл порядка 10 минут.

Файл 6.4Gb

При этом прошу обратить внимание, что это данные типа B, т.е. изменения не только по last, но и по bestask/bestbid.

3. Ну это не ко мне вопрос. Для тех, кто использует ТС-Лаб очевидно никакой :)

ch5oh, 
3) Какая Вам польза от чужой тиковой истории?
И кстати, буду очень благодарен за «чужую» тиковую историю (разумеется в формате Типа B) по склейкам неликвидных фьючерсов, так как стандратных в Открытии нет, а клеить самому мне себя все не заставить.
Все элементарно скачивается кусками с сайта финама затем за 5 сек склеивется вручную в нотепаде… а минутки в айти качать пару часов… и если глюкнет выкачивать снова
avatar

ves2010, С айти их надо просто один раз спокойно выкачать — и можно пользоваться. Дальше будут спокойно в кеше жить. Удобно же, когда всё в одном месте доступно.

avatar

теги блога ch5oh

....все тэги



UPDONW