Новая старая история минуток Сишки

Привет всем!

Для тестирования торговой стратегии, очевидно, нужна качественная история. Обсуждение тем «тест истории ничего не гарантирует» и «покупай у ММВБ тип А (https://www.moex.com/ru/orders?historicaldata) и сиди восстанавливай весь ход торгов» — оставляю за пределами этой темы.

Моя цель — трудозатратами до 1-2 «рабочих вечеров» получить более-менее качественную историю Сишки с 2012г., склеенную с учетом фактической практики моего переключения контрактов.

Как и большинство трейдеров исторические данные я качаю с Финама (юзаю свой макрос в Excel, ибо я олд-скул-программист, осваивать новые питоны — некогда).

Раньше брал финамовскую склейку, но очевидно, что это не удовлетворяет второй части моей цели, что будет снижать качество тестирования. Поэтому решил заморочиться со склейкой контрактов самостоятельно. Алгоритм то простой — обрезать у конкретных контрактов данные в момент, когда я по своей практике и переключаюсь между ними.

При этом, уже долгое время юзая финамовскую склейку, я регулярно нахожу в ней косяки — явно нереальные шипы. Бывает они длятся часами. Поэтому ради светлой цели решил восстановить свой макрос в Excel, которым некогда пробовал таскать данные по акциям через ISS с сайта ММВБ. Для меня была аксиома, что именно там — самые качественные данные. В принципе, быстрым костылем и не особо вспоминая (старый) API ISS, удалось скачать данные по контрактам сишки. Правда не с первого раза — то данные есть, то их нет, но за пару раз все скачалось.
Прим. Говорят, что есть уже новое API, но разбираться с ним мне точно сейчас не охота, это гарантированно за пределами моего бюджета времени на этот вопрос.

В общем, сделал склейку данных с ММВБ — и решил сравнить графики с Финама и с ММВБ, предвкушая наблюдение массы финамовских «шипов-козявок», а также дыр данных, ради избавления от которых, собственно говоря, и тратил свое время. Безусловно, я их увидел, но шокирован был другим — чуть ли не больше их есть на стороне ММВБ! Могет это следствие бесплатности данных, типа стимулирование покупать платный продукт. Не знаю.

Вот как это выглядит:



На верхнем графике — данные с ММВБ.
В середине — данные с Финама.
На нижнем индикаторе — простая формула: максимум из разниц между OpenММВБ и OpenФинам, HighММВБ и HighФинам и т.д. При полном совпадении свечей индикатор, очевидно, равен 0. Но на показанном примере — мы видим разницу High больше 100 пунктов!

При всем уважении к ММВБ, мне данный шип кажется нереальным. Конечно, в торговле все бывает, но не так часто. А еще — в правой части графика мы видим — дыру данных! Сам график я перед публикацией сделал более крупным, но в реальности буквально в этот же день с 14:55 там еще одна дыра, вернее дырище — аж до начала вечерней сессии!

В итоге, немного расстроенный пошел спать, но в 5 утра мой мозг снова проснулся и повел меня писать этот пост :).


Итак, коллеги, вопрос простой — есть ли идея получше, чем:
— скачать данные по каждому контракту теперь и с Финама.
— сделать быстренько сверку в Excel (можно даже формулами, но мне удобнее макросом, не суть) — и при выявлении шипа (сверх например 30 пунктов) на одном из графиков при отсутствии его на другом — тупо брать данные свечи без шипа. Допускаю, что шипы у ММВБ являются некой защитой интеллектуальной собственности (признаться, сам бы, наверное, в их ситуации делал бы так, причем индивидуально каждому клиенту — для последующей идентификации сливщика данных). Но если сделать предположение, что случайные или специальные ошибки в данных являются следствием случайной функции, то вероятность совпадения выдуманных шипов одновременно на обеих свечах — маловероятно. Ну а в случае дыр остается брать данные с Финама, естественно все же посмотрев наличие их шипов на этом участке. 

Прим. Кстати, после правки шипов у ММВБ получается, что данные уже перестали быть их интеллектуальной собственностью — ведь я получил исходник бесплатно, после чего вложил свой труд в их модификацию (ровно также, как если бы я расставил свои запятые в стихах Пушкина :)


В общем, понимаю, что тема избитая, но вот захотелось мне иметь качественную историю сишки. Все же слишком много ТС у меня торгует на этом инструменте, и при всей неоднозначности самой темы тестирования, для меня очевидно, что торговать без максимально качественного тестирования и анализа — все же еще хуже. Впрочем, как я написал изначально, хотелось бы сейчас обсудить не тему бесполезности тестирования, а тему бесплатного получения качественной истории сишки приемлемыми трудозатратами.

Заранее благодарен за любую помощь!