Введение

     Многие datascientists, желающие использовать ML на финансовых рынках, прочитали толстые книжки об инвестировании, может даже создавали модели с учетом прочитанного. И наверняка знают как правильно оценить полученные модели с точки зрения ML. Разобраться с этим необходимо, чтобы не было мучительно больно, когда прекрасная модель на бумаге, превращается в генератор убытков при практическом использовании. Однако оценка эффективности модели ML на бирже, довольно специфическая область, тонкости которой раскрываются только когда вы погружаетесь в процесс. Под процессом я понимаю трейдинг с частотой совершения сделок гораздо чаще «пара сделок в месяц, в течении полугода». Существует множество подводных камней, о наличии которых вы даже не подозреваете, пока смотрите на трейдинг извне. Я попробую вольно изложить свои мысли на данную тему, я покажу метрики, условно разбив их на 3 группы и обьясню их смысл, покажу свои любимые и о чем нужно подумать, если вы хотите практически использовать модели, а не повесить их на стеночку в красивой рамочке. Представлю метрики в табличном и графическом виде, показав их взаимосвязь. Сравню показатели моделей в виде «какую модель выбираю я» и «что выбираете вы» и кто тут больше ошибается. Для любителей кодов, приведу реализацию всего подсчитанного, так что можно сразу применить прочитанное для оценки своих моделей. Я не буду тут говорить о борьбе с переобучением или регуляризации или стратегиях кросвалидации — оставлю это на потом. Здесь мы начинаем со списка уже спрогнозированных сделок, с помощью transformer о которой я писал в прошлой статье. Поэтому данный текст будет его логическим продолжением, где я оценю модель с точки зрения ее практического использования.

( Читать дальше )

С проникновением аналитики во многие сферы нашей жизни она не могла обойти стороной финансы. В этой статье рассмотрим ее применение для анализа ETF с целью их анализа, в том числе и с применением визуализиции.

1. О данных

Для анализа будем использовать данные ETF c базовой валютой USD: FXCN, FXRL, FXIT, FXUS и FXRU. Временной ряд рассмотрим за три года с 2018 по 2020 года. Само исследование проведем в Google Colaboratory.

Как обычно в начале импортируем все необходимые библиотеки для дальнейшей работы.

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from google.colab import files
import warnings
warnings.filterwarnings("ignore")

Сначала необходимо получить данные. Есть несколько способов. Мы воспользовались — взяли их с Finam в формате csv. Дальше написал функцию для обработки полученных данных и при помощи concat свел их в один датафрейм.

def changeDF(df):
  df['date'] = pd.to_datetime(df['<DATE>'].astype(str), dayfirst=True)
  name =[x for x in globals() if globals()[x] is df][0]
  df = df.drop(['<DATE>','<TIME>', '<OPEN>', '<HIGH>', '<LOW>'], axis=1)
  df = df.set_index(['date'])
  df.columns = [name+'_cl', name + '_vol']
  return df

fxgd_change = changeDF(fxgd)
fxrl_change = changeDF(fxrl)
fxit_change = changeDF(fxit)
fxus_change = changeDF(fxus)
fxru_change = changeDF(fxru)
fxcn_change = changeDF(fxcn)

etf = pd.concat([fxgd_change, fxrl_change, fxit_change, fxus_change, fxru_change, fxcn_change], axis=1)

etf.head()

В результате получили:

( Читать дальше )

Центробанк публикует много полезной статистики. Сегодня были опубликованы данные по внешнему долгу России (долг перед нерезидентами, в том числе по ОФЗ). Последние доступные данные — март 2020. 
http://cbr.ru/statistics/macro_itm/svs/#a_71429



( Читать дальше )

В 2020 перешёл на тслаб 2.0, в котором наконец реализовано плавное изменение размера позиции без костылей. В связи с чем более плотно потестил разные варианты и в итоге всё оставил как есть, самый простой вариант. Но в последнее время мне кажется что я туповат и что-то упустил, так что пишу чтобы разобраться.


( Читать дальше )

Всем привет!

Хочу поделиться python скриптом, который позволяет скопом скачивать данные ордерлогов фьючерсов с сервера Цериха ftp://ftp.zerich.com/. Формат данных .qsh, подробнее о том как его парсить можно почитать в спецификации вот тут https://www.qscalp.ru/download.

В скрипте 5 параметров (все кавычки простые двойные ", а не то, как их отображает смартлаб):

• download_path — путь, куда вы хотите сохранить данные (например, «C:/data/orderlog/» или же "./" для сохранения в папку, откуда вы запускаете скрипт)
• sym_list — Список символов для скачки (например, [«BR», «RTS-6.20»]). Если здесь указать только префикс инструмента (например, RTS), то на каждую дату скачается только файл с максимальным размером. Обычно он соответствует фьючерсу с ближайшей экспирацией.
• unzip — True, если нужно разархивировать данные после скачки (зависит от того, как вы будете дальше работать с данными)
• date_start и date_end (в формате «2020-06-01») — даты интересующего вас интервала включительно.

Если данные за конкретную дату и инструмент уже присутсвуют в папке, заново они скачаны не будут.

( Читать дальше )

Май совсем не балует трендами в РИ и Си на полудневном или дневном ТФ.
Поэтому приходится придумывать что-нибудь полезное.
Этот пост о том, как ничего полезного придумать не получилось.

Возьмем доходности одной лонговой системы на РИ. АКФ этих доходностей как бы намекает, что ловить тут,
скорее всего, нечего:




















































Но мы попробуем. Благо это нетрудно. Проблема в том, что бывают просадки.
Они возникают двояко. Как единичные большие убыточные сделки. Это происходит при высокой рыночной волатильности.
С этим можно бороться снижением сайза, хотя в долгосроке эффективность этого больше психологическая, нежели финансовая.
Более противен второй путь получения просадки накапливанием малых, но затяжных в одной серии небольших убыточных сделок.

( Читать дальше )

 При всех имеющихся преимуществах  в виде удобного визуального и функционального интерфейса,  большого набора исследовательского инструментария (готовые стратегий и индикаторы),  огромного количества доступных финансовых инструментов (российский и зарубежные рынки),  а самое главное легкости и простоты реализации собственных торговых идей и гипотез за счёт наличия встроенного языка Pine Script (всё это к слово ещё приплавлено русскоязычной поддержкой и подробным манулом), у TradingView всегда был серьёзный недостаток — отсутствие возможности полноценной автоматизации торговли. И здесь позиция разработчиков (а скорее всего руководства компании) мне была не совсем понятна. Написали ребята крутую прилажуху с использованием последних веб технологий,  дали людям широкий инструментарий для кастомизации своих

( Читать дальше )

Заполняю декларацию 3-НДФЛ с дохода от акций и дивидендов по зарубежному счёту в Interactive Brokers в январе месяце.
Ранее я заполнял декларацию обычно.Но как я писал ранее на счёт снижения налоговой базы при продажи акции взяв в налогооблагаемую базу комиссии брокера.
Ранее писал в своём блоге об этом https://smart-lab.ru/blog/578377.php

Видео статьи:

( Читать дальше )

Последнее время на смарт-лабе снова набирает популярность тема опционов. Попробуем понять почему.

Вот тут давно описана моя система продажи путового месячного «края» и приведены ее тесты с 2008 по 2013:

www.howtotrade.ru/nw/index.php?p=1380184332

Вскоре после той публикации эта система начала торговаться в реале на объеме в почти 1000 контрактов в сумме (на фирме 960 контрактов). 3 марта 2014 торговля этой системы была закрыта. Почему? Ссылку на это дам в конце (я уже об этом тут писал), потому что это будет хорошим резюме к нижеизложенному. 

Собственно расчет вариационной маржи для 960 контрактов я продолжил и после прекращения торговли. Эдакий out-of-sample. И что получается? А вот что по дням экспирации (мы помним, что продаваемые опционы месячные)



График в рублях, потому что я не знаю к чему отнести накопленную вармаржу. Ну до сентября 2015-го выглядит не очень красиво, я бы такое не торговал, но с 15 сентября 2015-го очень даже симпатично

( Читать дальше )

Алгоритмы Renaissance Technology (RenTec).

Предыстория такова: я много занимался и занимаюсь музыкой, точнее «записываемой музыкой». И у меня экономическое образование.
На определённом этапе своих исследований в области музыки, а затем и трейдинга, я пришёл к практическому выводу о наличии колебаний в ценовых рядах, похожих на синусоидальные. В этом нет ничего нового: среди экономистов давно известны теоремы и работы советского математика Евгения Слуцкого, — о том, что даже случайные, но сильно коррелированные величины (например ценовой ряд) после сглаживания (фильтрации, даже МА-шками, скользящей средней) — может создавать синусоподобные колебания.
На Уолл-Стрите фамилию Евгения Слуцкого произносят шёпотом — да и то только среди знающих людей. Дело в том, что хотя работы Слуцкого не дают ПРЯМОГО рецепта прибыльных торговых систем, но дают хоть какое-то понимание разных странностей на биржевых рынках.
Евгений Слуцкий закончил мой родной Киевский Университет в 1911 году, по ходу учился в Германии, потом вернулся, потом ужЕ при большевиках-коммунистах работал на Украине, потом его перевели в Москву, в Институт Конъюнктуры, где после расстрела Сталиным его начальника (ну знаете ли — свобода, маркетинг и открытые рынки противоречат идее антихристов-коммунистов) — Евгений Слуцкий прекратил активную научную деятельность, и умер в России.
https://ru.wikipedia.org/wiki/%D0%A1%D0%BB%D1%83%D1%86%D0%BA%D0%B8%D0%B9,_%D0%95%D0%B2%D0%B3%D0%B5%D0%BD%D0%B8%D0%B9_%D0%95%D0%B2%D0%B3%D0%B5%D0%BD%D1%8C%D0%B5%D0%B2%D0%B8%D1%87
На Украине идеи Слуцкого получили второе рождение сначала в Украине — с подачи академика Ермольева и его ученика- профессора Александра Ястремского (сына профессора Ивана Ястремского, который ещё в советское время имел смелость выступать за кооперативное производство при социализме). Профессор Александр Ястремский являлся моим преподавателем по стохастической оптимизации в Унитете. Позже он руководил кафедрой экономической кибернетики в КГУ, и затем передал бразды правления кафедрой Александру Черняку, специалисту по теории вероятностей. Черняк тоже пишет статьи по работам Слуцкого. Раньше я регулярно общался и с тем и другим.
А в России?
В России ТОЖЕ понимают фундаментальность работ Слуцкого и выпустили недавно большую книгу с работами Слуцкого и разными вариациями различных учёных России и Украины на эту тему. Профессор Александр Черняк из КГУ написал для этой книги кажется тоже статью.

Итог 1 : по Слуцкому даже случайные «всплески» ценовых рядов при их исследовании или обработки (например при фильтрации) могут порождать синусоподобные устойчивые колебания. А если они там есть, то их можно выявить частотными «спектральными» методами.
Итог 2 : работы Слуцкого и выводы из них никогда не выпадали из поля зрения учёных-экономистов в Украине, России.

Теперь давайте посмотрим на проблему «периодичности» с другой стороны. С СОВСЕМ ДРУГОЙ стороны — где периодичность является злом — а именно: в теории и практике кодирования. Для дешифрации без ключа — НАУЧНЫМ СПОСОБОМ — шифрованный текст размещается в виде матрицы и затем МНОЖЕСТВОМ разных способов проверяется её «качество». Если в матрице найти разные закономерности, то есть периодичности, то их оттуда можно вынуть — и это служит основой для разбивания шифра.
Таким образом и шифрование и экономика-трейдинг приходят к одному общему — отысканию периодичностей в кажущемся случайным потоке данных.
Так оно и было с Джеймсом Саймонcом и фирмой Renaissance Technologies:
работая поначалу как «чистый математик» над шифраторами-дешифраторами для военных, Саймонс с товарищами разумеется хорошо знал о методах выявления закономерностей, дефектов (периодичностей). А потом у него был скандал с военным руководством — Джеймс Саймонс выступал против войны США во Вьетнаме. Его уволили, но кто-то подсказал ему что это всё можно использовать для прогнозирования ценовых рядов.
Скорее всего это был Элвин Берлекэмп (Elwyn Berlekamp), автор их первой торговой системы:
https://ru.wikipedia.org/wiki/%D0%91%D0%B5%D1%80%D0%BB%D0%B5%D0%BA%D1%8D%D0%BC%D0%BF,_%D0%AD%D0%BB%D0%B2%D0%B8%D0%BD
Элвин Берлекэмп умер полгода назад.
Саймонс поручил в 1990 Элвину написать торговую систему, учитывая теоретические знания Саймонса и его «дешифрованных» товарищей.
В начальном виде она сперва давала прибыль, но потом начала сбоить. Они полностью её переписали и примерно с 1992-93 года она работает стабильно.  Они первые на Уолл-Стрите купили себе суперкомпьютеры CRAY, и даже разместили фирму возле залива в Нью-Йорке, где легче было организовать водяное охлаждение компов (ну и заодно поближе к университету со старыми товарищами-математиками).
Rentec вошла в деловой контакт с крупными банками — чтобы обеспечивать себя деньгами в управлении и полигоном для испытаний своих алгоритмов, а им — алгоритмическое преимущество, когда банк работает как Market Maker на бирже.
Но чем ближе к «стакану» биржи, тем трейдер (то есть RenTec + банк) вынуждены были работать с более короткими периодами и бОльшим потоком данным. На определённом этапе RenTec обнаружила что компьютеры CRAY, которые она использовала (скорость тогда была примерно 1-2 Гигафлопса), не справляются с их «грубыми» спектральными алгоритмами. И тогда RenTec «купила», то есть переманила к себе ВСЁ подразделение цифровой обработки сигналов из фирмы IBM. Дело ещё в том, что в DSP (это «цифровая обработка сигналов»), часто используются алгоритмические «фокусы»-улучшатели, про которые не знают ни обычные математики, ни обычные программисты, ни тем более трейдеры.
Откуда я это знаю? Так это же очевидно!
Как ещё можно получить прибыльность 40...60 % в год, если индекс акций SP500 растёт по 10% в год?
Вы просто обязаны ловить ВСЕ колебания рынка, а не только глобальные длинные тренды. А это можно сделать, только выявляя синусоидальные колебания. В конце концов единственным, в чём вы можете быть «уверены» в современной математике — это движения синуса и косинуса обратно вниз.
В 2013 году я выложил вкратце описание их алгоритмов на сайте Nuclearphynance.com :
http://www.nuclearphynance.com/Show Post.aspx?PostIDKey=4851
У меня есть жестокое подозрение, что самим сайтом nuclearphynance.com владеет сам миллиардер Джеймс Саймонс, так как я был СРАЗУ же забанен после своего краткого выступления там — безо всякой причины и пояснения.
Дело ещё в том, что между европейской английской школой алготрейдеров — это Paul Wilmott, Daniel Duffy, ныне покойный Mark Joshi и другие дружественные им люди (теоретики, хорошие теоретики, практиков мало), и условно говоря высокомерной американской школой (коих на самом деле много, и они не дружат между собой) — между ними существовала раньше неприязнь.
Война там была подковёрной и малоизвестной. Как результат, — сайт и форумы по теме quant finance разделились на два лагеря — nuclearphynance.com и wilmott.com.
Затем, позже я описал вкратце все основные алгоритмы на форуме Wilmott, но НИКТО из квантов планеты Земля не проявил интереса.
За исключением одного мало-известного трейдера математика из Европы. НИ ОДИН.
https://forum.wilmott.com/viewtopic.php?f=38&t=85860
Затем, после критических публикаций про RenTec, после скандалов с «дружескими связями» RenTec c крупнейшим вором в истории человечества Берни Мадофф, на воровство которого смотрели сквозь пальцы и комиссия CFTC и налоговая служба IRS, и ФБР, после скандальной щедрой денежной поддержки коррумпированной Хилари Клинтон лично Джеймсом Саймонсом,
http://www.zerohedge.com/news/2016-08-22/meet-puppetmaster-hedge-fund-behind-us-presidential-election
после всех этих и других событий, — RenTec по видимому предложил Paul Wilmott зарыть топор войны. Так на свет внезапно появилась книга Paul Wilmott «Money formula», где Поль Вилмотт… поёт дифирамбы James Simons и фирме RenTec.
https://www.amazon.com/Money-Formula-Finance-Science-Mathematicians/dp/1119358612
Примечание: алгоритмы, применяемые для настоящего спектрального анализа — в корне отличаются от алгоритмов неправильного «метода Фурье», и представляют собой сложную алгоритмическую задачу. И везде там приходится натыкаться на сложно-решаемые задачи, типа численного дифференцирования, и даже банальную аппроксимацию — регрессию, НО которую НАДО ДЕЛАТЬ ПРАВИЛЬНО, а не так как это делают физики или радио-техники. Об этом недавно проговорился один из бывших сотрудников RenTec в интервью. Он не понимал, зачем так скурпулёзно его заставляли делать свой кусок банальной аппроксимации-регрессии, которую любой трейдер делает на MetaTraider-4/5 — парой кликов мышью. А вот потому что так надо! Потому что Джеймс Саймонс никому не выдаёт всю цепочку сложного (сложнейшего) алгоритма, и качество детектирования условно говоря «сигнала» — критично для последующих шагов в сложной цепочке. Здесь ничего нового — над похожей задачей распознавания речи бьются многие фирмы.
Ведь открытые рынки ГОВОРЯТ — друг с другом. То что Вы видите на экране торгового терминала — это разговор разных торговцев и разных рынков друг с другом.
Как видите, это всё «чистая математика», и работает без догадок трейдера с экрана. Разумеется, никто из тредеров или тем более менеджеров с Уолл-Стрит не мог ничего дать фирме RenTec. На Уолл-Стрите шутили — что «величайшим секретом RenTec является то, что они не берут никого с Уолл-Стрит».
В самом деле, что человеку с Уолл-Стрит там делать?

Ещё один малоизвестный факт: на определённом этапе большой вор Берни Мадофф решил покататься на полу-секретной славе заоблачных
показателей прибыльности фирмы Rentec. Он дал в управление RenTec 200-300 миллионов долларов — на очень выгодных для RenTec условиях. Но с условием, что будет пользоваться ими сам время от времени. Конечно, это нужно было ему для разговоров с его инвесторами.
Он многозначительно намекал им, что «деньгами управляет RenTec». Таким образом Мадофф получал авторитет у инвесторов задаром. Через год-другой RenTec узнала об этих разговорах и посмотрела на свои бухгалтерские балансы, — по которым получалось, что Берни Мадофф платит RenTec, 100 миллионов долларов в год — только за то, что ИНОГДА деньги Madoff пару месяцев ходят в обороте у RenTec. Всё это плохо пахло.  Старый вопрос игрока в карты — «кто дурак в этой схеме? И если ты не знаешь ответа — то этот дурак — ТЫ».
Просто так деньги на Уолл-Стрит никто не платит. И тогда RenTec отказалась от денег Madoff. Позором для James Simons является то, что они НИКУДА НЕ ЗАЯВИЛИ о своих сомнениях и подозрениях. Разумеется, доказать они юридически ничего не смогли бы тогда сами, но афера Мадоффа была бы тогда разоблачена в самом начале. Но и Джеймс Саймонс и Берни Мадофф — оба евреи, а инвесторами Мадофф были многие известные евреи, и тогда в тесной еврейской тусовке Нью-Йорка — RenTec решили лучше промолчать и просто отдать деньги Мадофф обратно.

Я не пишу здесь о БИЗНЕС-событиях в истории RenTec. Это без меня сделал юрист-менеджер из Англии Julian Versteeg.
Вот тут:
https://medium.com/@63ey5f4uw3k42v1exp7/chronology-mercer-medallion-fund-9aa719ceeb4f
После написания этой статьи, раскопав всё подробно, Julian тут же получил должность в большом инвестиционном фонде и управляет кажется около 60 млрд USD в Лондоне.
Джулиан Верстиг там пишет в несколько негативном ключе об RetTec и о Джеймсе Саймонсе. Если быть точным, в прилично негативном ключе, хотя факты изложены верно.
На форуме квонтов Wilmott меня спросили — почему Джулиан написал именно так, в негативе (смешно, я-то тут при чём?)? Наверное потому, что закрытая фирма RenTec, зарабатывая на и пользуясь открытыми биржевыми рынками, регулярно вляпывается в разные финансовые скандалы и расследования (хотя в телевизоре и на Ютубе  — Джеймс Саймонс корчит из себя доброго дядечку мецената):

«Why Did RenTec Keep Their Madoff TRS After Uncovering His Ponziness, And Other Questions»
www.zerohedge.com/article/why-did-rentec-keep-their-madoff-trs-after-uncovering-his-ponziness-and-other-questions?lipi=urn%3Ali%3Apage%3Ad_flagship3_messaging%3BS2h22ABpSyCn3a03yEnjgw%3D%3D

«How they failed to catch Madoff»
fortune.com/2011/05/10/how-they-failed-to-catch-madoff/?lipi=urn%3Ali%3Apage%3Ad_flagship3_messaging%3BS2h22ABpSyCn3a03yEnjgw%3D%3D

«Renaissance to SEC: Seeing Madoff's Fraud Wasn't Rocket Science»
www.businessinsider.com/renaissance-seeing-madoffs-fraud-wasnt-rocket-science-2009-9?lipi=urn%3Ali%3Apage%3Ad_flagship3_messaging%3BS2h22ABpSyCn3a03yEnjgw%3D%3D

«US Senate hearings about abuse of structures products»:
www.hsgac.senate.gov/download/report-abuse-of-structured-financial-products-misusing-basket-options-to-avoid-taxes-and-leverage-limits