Привет, в этот раз будет общий пост про полезные источники в сети, где можно бесплатно взять данные, примеры кода и другие полезные вещи.

Более направленные подборки по идеям можно посмотреть здесь https://smart-lab.ru/blog/628709.php, а по книгам здесь https://smart-lab.ru/blog/681121.php

Биржевые данные:

Биржевые:

• https://www.quandl.com Quandl. Простой и адекватный API для Python, много бесплатных данных по отдельным биржам. Например, по Гонконгской и Варшавской бирже. Есть данные по сырьевым фьючерсам и другому сырью. Экономическая статистика и альтернативные данные тоже есть в бесплатном варианте. В отличие от других сайтов с котировками и графиками – здесь промышленная выгрузка для исследований;
• https://stooq.com Stooq. Неожиданно богатый бесплатным контентом локальный сайт (Польша). Большая часть не представляет интереса и можно сразу перейти к большим (для бесплатных) выборкам биржевых данных по США, некоторым европейским и азиатским странам

( Читать дальше )

Алгоритмы Renaissance Technology (RenTec).

Предыстория такова: я много занимался и занимаюсь музыкой, точнее «записываемой музыкой». И у меня экономическое образование.
На определённом этапе своих исследований в области музыки, а затем и трейдинга, я пришёл к практическому выводу о наличии колебаний в ценовых рядах, похожих на синусоидальные. В этом нет ничего нового: среди экономистов давно известны теоремы и работы советского математика Евгения Слуцкого, — о том, что даже случайные, но сильно коррелированные величины (например ценовой ряд) после сглаживания (фильтрации, даже МА-шками, скользящей средней) — может создавать синусоподобные колебания.
На Уолл-Стрите фамилию Евгения Слуцкого произносят шёпотом — да и то только среди знающих людей. Дело в том, что хотя работы Слуцкого не дают ПРЯМОГО рецепта прибыльных торговых систем, но дают хоть какое-то понимание разных странностей на биржевых рынках.
Евгений Слуцкий закончил мой родной Киевский Университет в 1911 году, по ходу учился в Германии, потом вернулся, потом ужЕ при большевиках-коммунистах работал на Украине, потом его перевели в Москву, в Институт Конъюнктуры, где после расстрела Сталиным его начальника (ну знаете ли — свобода, маркетинг и открытые рынки противоречат идее антихристов-коммунистов) — Евгений Слуцкий прекратил активную научную деятельность, и умер в России.
https://ru.wikipedia.org/wiki/%D0%A1%D0%BB%D1%83%D1%86%D0%BA%D0%B8%D0%B9,_%D0%95%D0%B2%D0%B3%D0%B5%D0%BD%D0%B8%D0%B9_%D0%95%D0%B2%D0%B3%D0%B5%D0%BD%D1%8C%D0%B5%D0%B2%D0%B8%D1%87
На Украине идеи Слуцкого получили второе рождение сначала в Украине — с подачи академика Ермольева и его ученика- профессора Александра Ястремского (сына профессора Ивана Ястремского, который ещё в советское время имел смелость выступать за кооперативное производство при социализме). Профессор Александр Ястремский являлся моим преподавателем по стохастической оптимизации в Унитете. Позже он руководил кафедрой экономической кибернетики в КГУ, и затем передал бразды правления кафедрой Александру Черняку, специалисту по теории вероятностей. Черняк тоже пишет статьи по работам Слуцкого. Раньше я регулярно общался и с тем и другим.
А в России?
В России ТОЖЕ понимают фундаментальность работ Слуцкого и выпустили недавно большую книгу с работами Слуцкого и разными вариациями различных учёных России и Украины на эту тему. Профессор Александр Черняк из КГУ написал для этой книги кажется тоже статью.

Итог 1 : по Слуцкому даже случайные «всплески» ценовых рядов при их исследовании или обработки (например при фильтрации) могут порождать синусоподобные устойчивые колебания. А если они там есть, то их можно выявить частотными «спектральными» методами.
Итог 2 : работы Слуцкого и выводы из них никогда не выпадали из поля зрения учёных-экономистов в Украине, России.

Теперь давайте посмотрим на проблему «периодичности» с другой стороны. С СОВСЕМ ДРУГОЙ стороны — где периодичность является злом — а именно: в теории и практике кодирования. Для дешифрации без ключа — НАУЧНЫМ СПОСОБОМ — шифрованный текст размещается в виде матрицы и затем МНОЖЕСТВОМ разных способов проверяется её «качество». Если в матрице найти разные закономерности, то есть периодичности, то их оттуда можно вынуть — и это служит основой для разбивания шифра.
Таким образом и шифрование и экономика-трейдинг приходят к одному общему — отысканию периодичностей в кажущемся случайным потоке данных.
Так оно и было с Джеймсом Саймонcом и фирмой Renaissance Technologies:
работая поначалу как «чистый математик» над шифраторами-дешифраторами для военных, Саймонс с товарищами разумеется хорошо знал о методах выявления закономерностей, дефектов (периодичностей). А потом у него был скандал с военным руководством — Джеймс Саймонс выступал против войны США во Вьетнаме. Его уволили, но кто-то подсказал ему что это всё можно использовать для прогнозирования ценовых рядов.
Скорее всего это был Элвин Берлекэмп (Elwyn Berlekamp), автор их первой торговой системы:
https://ru.wikipedia.org/wiki/%D0%91%D0%B5%D1%80%D0%BB%D0%B5%D0%BA%D1%8D%D0%BC%D0%BF,_%D0%AD%D0%BB%D0%B2%D0%B8%D0%BD
Элвин Берлекэмп умер полгода назад.
Саймонс поручил в 1990 Элвину написать торговую систему, учитывая теоретические знания Саймонса и его «дешифрованных» товарищей.
В начальном виде она сперва давала прибыль, но потом начала сбоить. Они полностью её переписали и примерно с 1992-93 года она работает стабильно.  Они первые на Уолл-Стрите купили себе суперкомпьютеры CRAY, и даже разместили фирму возле залива в Нью-Йорке, где легче было организовать водяное охлаждение компов (ну и заодно поближе к университету со старыми товарищами-математиками).
Rentec вошла в деловой контакт с крупными банками — чтобы обеспечивать себя деньгами в управлении и полигоном для испытаний своих алгоритмов, а им — алгоритмическое преимущество, когда банк работает как Market Maker на бирже.
Но чем ближе к «стакану» биржи, тем трейдер (то есть RenTec + банк) вынуждены были работать с более короткими периодами и бОльшим потоком данным. На определённом этапе RenTec обнаружила что компьютеры CRAY, которые она использовала (скорость тогда была примерно 1-2 Гигафлопса), не справляются с их «грубыми» спектральными алгоритмами. И тогда RenTec «купила», то есть переманила к себе ВСЁ подразделение цифровой обработки сигналов из фирмы IBM. Дело ещё в том, что в DSP (это «цифровая обработка сигналов»), часто используются алгоритмические «фокусы»-улучшатели, про которые не знают ни обычные математики, ни обычные программисты, ни тем более трейдеры.
Откуда я это знаю? Так это же очевидно!
Как ещё можно получить прибыльность 40...60 % в год, если индекс акций SP500 растёт по 10% в год?
Вы просто обязаны ловить ВСЕ колебания рынка, а не только глобальные длинные тренды. А это можно сделать, только выявляя синусоидальные колебания. В конце концов единственным, в чём вы можете быть «уверены» в современной математике — это движения синуса и косинуса обратно вниз.
В 2013 году я выложил вкратце описание их алгоритмов на сайте Nuclearphynance.com :
http://www.nuclearphynance.com/Show Post.aspx?PostIDKey=4851
У меня есть жестокое подозрение, что самим сайтом nuclearphynance.com владеет сам миллиардер Джеймс Саймонс, так как я был СРАЗУ же забанен после своего краткого выступления там — безо всякой причины и пояснения.
Дело ещё в том, что между европейской английской школой алготрейдеров — это Paul Wilmott, Daniel Duffy, ныне покойный Mark Joshi и другие дружественные им люди (теоретики, хорошие теоретики, практиков мало), и условно говоря высокомерной американской школой (коих на самом деле много, и они не дружат между собой) — между ними существовала раньше неприязнь.
Война там была подковёрной и малоизвестной. Как результат, — сайт и форумы по теме quant finance разделились на два лагеря — nuclearphynance.com и wilmott.com.
Затем, позже я описал вкратце все основные алгоритмы на форуме Wilmott, но НИКТО из квантов планеты Земля не проявил интереса.
За исключением одного мало-известного трейдера математика из Европы. НИ ОДИН.
https://forum.wilmott.com/viewtopic.php?f=38&t=85860
Затем, после критических публикаций про RenTec, после скандалов с «дружескими связями» RenTec c крупнейшим вором в истории человечества Берни Мадофф, на воровство которого смотрели сквозь пальцы и комиссия CFTC и налоговая служба IRS, и ФБР, после скандальной щедрой денежной поддержки коррумпированной Хилари Клинтон лично Джеймсом Саймонсом,
http://www.zerohedge.com/news/2016-08-22/meet-puppetmaster-hedge-fund-behind-us-presidential-election
после всех этих и других событий, — RenTec по видимому предложил Paul Wilmott зарыть топор войны. Так на свет внезапно появилась книга Paul Wilmott «Money formula», где Поль Вилмотт… поёт дифирамбы James Simons и фирме RenTec.
https://www.amazon.com/Money-Formula-Finance-Science-Mathematicians/dp/1119358612
Примечание: алгоритмы, применяемые для настоящего спектрального анализа — в корне отличаются от алгоритмов неправильного «метода Фурье», и представляют собой сложную алгоритмическую задачу. И везде там приходится натыкаться на сложно-решаемые задачи, типа численного дифференцирования, и даже банальную аппроксимацию — регрессию, НО которую НАДО ДЕЛАТЬ ПРАВИЛЬНО, а не так как это делают физики или радио-техники. Об этом недавно проговорился один из бывших сотрудников RenTec в интервью. Он не понимал, зачем так скурпулёзно его заставляли делать свой кусок банальной аппроксимации-регрессии, которую любой трейдер делает на MetaTraider-4/5 — парой кликов мышью. А вот потому что так надо! Потому что Джеймс Саймонс никому не выдаёт всю цепочку сложного (сложнейшего) алгоритма, и качество детектирования условно говоря «сигнала» — критично для последующих шагов в сложной цепочке. Здесь ничего нового — над похожей задачей распознавания речи бьются многие фирмы.
Ведь открытые рынки ГОВОРЯТ — друг с другом. То что Вы видите на экране торгового терминала — это разговор разных торговцев и разных рынков друг с другом.
Как видите, это всё «чистая математика», и работает без догадок трейдера с экрана. Разумеется, никто из тредеров или тем более менеджеров с Уолл-Стрит не мог ничего дать фирме RenTec. На Уолл-Стрите шутили — что «величайшим секретом RenTec является то, что они не берут никого с Уолл-Стрит».
В самом деле, что человеку с Уолл-Стрит там делать?

Ещё один малоизвестный факт: на определённом этапе большой вор Берни Мадофф решил покататься на полу-секретной славе заоблачных
показателей прибыльности фирмы Rentec. Он дал в управление RenTec 200-300 миллионов долларов — на очень выгодных для RenTec условиях. Но с условием, что будет пользоваться ими сам время от времени. Конечно, это нужно было ему для разговоров с его инвесторами.
Он многозначительно намекал им, что «деньгами управляет RenTec». Таким образом Мадофф получал авторитет у инвесторов задаром. Через год-другой RenTec узнала об этих разговорах и посмотрела на свои бухгалтерские балансы, — по которым получалось, что Берни Мадофф платит RenTec, 100 миллионов долларов в год — только за то, что ИНОГДА деньги Madoff пару месяцев ходят в обороте у RenTec. Всё это плохо пахло.  Старый вопрос игрока в карты — «кто дурак в этой схеме? И если ты не знаешь ответа — то этот дурак — ТЫ».
Просто так деньги на Уолл-Стрит никто не платит. И тогда RenTec отказалась от денег Madoff. Позором для James Simons является то, что они НИКУДА НЕ ЗАЯВИЛИ о своих сомнениях и подозрениях. Разумеется, доказать они юридически ничего не смогли бы тогда сами, но афера Мадоффа была бы тогда разоблачена в самом начале. Но и Джеймс Саймонс и Берни Мадофф — оба евреи, а инвесторами Мадофф были многие известные евреи, и тогда в тесной еврейской тусовке Нью-Йорка — RenTec решили лучше промолчать и просто отдать деньги Мадофф обратно.

Я не пишу здесь о БИЗНЕС-событиях в истории RenTec. Это без меня сделал юрист-менеджер из Англии Julian Versteeg.
Вот тут:
https://medium.com/@63ey5f4uw3k42v1exp7/chronology-mercer-medallion-fund-9aa719ceeb4f
После написания этой статьи, раскопав всё подробно, Julian тут же получил должность в большом инвестиционном фонде и управляет кажется около 60 млрд USD в Лондоне.
Джулиан Верстиг там пишет в несколько негативном ключе об RetTec и о Джеймсе Саймонсе. Если быть точным, в прилично негативном ключе, хотя факты изложены верно.
На форуме квонтов Wilmott меня спросили — почему Джулиан написал именно так, в негативе (смешно, я-то тут при чём?)? Наверное потому, что закрытая фирма RenTec, зарабатывая на и пользуясь открытыми биржевыми рынками, регулярно вляпывается в разные финансовые скандалы и расследования (хотя в телевизоре и на Ютубе  — Джеймс Саймонс корчит из себя доброго дядечку мецената):

«Why Did RenTec Keep Their Madoff TRS After Uncovering His Ponziness, And Other Questions»
www.zerohedge.com/article/why-did-rentec-keep-their-madoff-trs-after-uncovering-his-ponziness-and-other-questions?lipi=urn%3Ali%3Apage%3Ad_flagship3_messaging%3BS2h22ABpSyCn3a03yEnjgw%3D%3D

«How they failed to catch Madoff»
fortune.com/2011/05/10/how-they-failed-to-catch-madoff/?lipi=urn%3Ali%3Apage%3Ad_flagship3_messaging%3BS2h22ABpSyCn3a03yEnjgw%3D%3D

«Renaissance to SEC: Seeing Madoff's Fraud Wasn't Rocket Science»
www.businessinsider.com/renaissance-seeing-madoffs-fraud-wasnt-rocket-science-2009-9?lipi=urn%3Ali%3Apage%3Ad_flagship3_messaging%3BS2h22ABpSyCn3a03yEnjgw%3D%3D

«US Senate hearings about abuse of structures products»:
www.hsgac.senate.gov/download/report-abuse-of-structured-financial-products-misusing-basket-options-to-avoid-taxes-and-leverage-limits

на Kaggle недавно завершилось соревнование под названием «two sigma financial modeling»
www.kaggle.com/c/two-sigma-financial-modeling/kernels
Задача представляла из себя классическую проблему предсказания цены актива 
Какой то нью йоркский хэдж-фанд слил кучу features, причем обезличенных, и даже не говоря при этом, с каким шагом по времени (хотя участники соревнования вроде быстро раскусили и название features, и шаг по времени), и надо было предсказать следующую цену актива
Предсказания в Kaggle обычно делаются посредством искусственного интеллекта (сейчас это обычно supervised классификаторы на основе XGboost, плюс (всё больше и больше) нейронные сети, плюс иногда unsupervised learning, плюс bagging и обычно на закуску stacking разных моделей)
По правилам соревнования, код победителей принадлежит его организаторам, поэтому, увы, там почерпнуть ничего не удасться (выигравшие Kernels публиковаться не будут)
Но участники в соревнованиях на Kaggle — реально круты, и некоторые из них в процессе соревнования делятся идеями (в разделе «Discussion») и кодом (в разделе «Kernels»)
Я в этом соревновании не участвовал, так как вляпался в другое соревнование от той же конторы, и эпично там тупил 2 месяца (хотя и научился очень многим приемам и перешел из разряда полного баклана в начинающего чайника)

( Читать дальше )

Начало тут.
Если не входить утром и не выходить вечером, а оставлять позицию открытой на ночь, периодически переворачиваясь, то кол-во сделок падает вдвое. Средняя сделка стала 0.41%. Профит-фактор 1.47. Места переворотов показаны на последнем графике.







( Читать дальше )

Сразу к сути. Берем обыкновенные акции Сбербанка (дневные значения). Кроме стандартных OHLC нам понадобится VWAP каждого дня. По VWAP предыдущих трех дней методом наименьших квадратов строим линейную регрессию, по которой делаем прогноз VWAP текущего дня. Далее в зависимости от того, выше или ниже прогнозного VWAP открылись торги в текущем дне, входим в лонг или в шорт. Сделку закрываем в конце дня. В идеале (если успеваем войти по Open и выйти по Close) почти на «ровном месте» получаем следующую кривую доходности со средней сделкой 0.2% и профит-фактором 1.3:
























Вопросы на засыпку:
Есть ли здесь подгонка?
Стоит ли торговать такую систему?
Какими способами можно поднять профит-фактор и среднюю сделку?

  

Статья из блога www.jonathankinlay.com поможет лучше понять работу вашей торговой стратегии и повысить ее производительность в будущем.

Построение прибыльной стратегии только половина успеха, трейдеру еще необходимо понимание так называемой альфы стратегии и риска. Это значит, что нужно определить факторы, обуславливающие прибыльность алгоритма и, в идеале, создать модель так, что их относительный вклад может быть вычислен. Более продвинутый путь — это конструирование мета-модели, которая будет предсказывать прибыльность и давать рекомендации, каким образом должна торговать стратегия в следующий период.

Производительность стратегии

Давайте посмотрим, как это работает на практике. В нашем случае будем использовать следующую внутридневную стратегию на фьючерсах E-mini:

Общая производительность стратегии довольна высока. Среднемесячная прибыль за период с апреля по октябрь 2015 года почти 8 000 долларов на контракт, за вычетом комиссии, со стандартным отклонением всего 5 500 долларов. Годовой коэффициент Шарпа около 5.0. На платформе с хорошим исполнением стратегия может масштабироваться до 10-15 контрактов, с годовой прибылью от 1 до 1.5 миллионов долларов.

( Читать дальше )

Все знают что при использовании рыночно-нейтральных стратегий для входа в позицию используется маркет-мейкерский подход. Но для многих возникает вопрос, как подобрать уровни входа?

Есть два способа подобрать уровни входа в позицию для арбитражных стратегий:

• выставлять уровни котирования в абсолютных числах
• выставлять уровни котирования в процентах

Предлагаю провести тест двух разных методов входа в позицию

Метод 1 (выставлять уровни котирования в абсолютных числах). Доход 39% годовых




Метод 2 (выставлять уровни котирования в процентах). Доход 43% годовых



Получается что расчет входа в позицию для стратегий парного трейдинга в процентах, является более эффективным

ссылка на вебинар 
https://my.webinar.ru/record/703139/?i=842ce59fcad2cfc895ca22b23271b4d6

« Голос истины неизящен, а изящная речь лжива. Нравственный человек не красноречив, а красноречивый — лжец»

Лао-Цзы

 

В книге Новые измерения. Билла Вильямса, даётся трендовая стратегия, которая при минимальных изменениях может торговаться на российской бирже. Эта книга — склад Граалей. В ней есть адаптивный к волатильности вход на пробое, пирамидинг по тренду, бесконечное удержание позиции по тренду. Три столпа алгоритмиста-трендовика которые изменят Вашу жизнь навсегда. Всё это дано на уровне полного описания действий, как в блок-схеме.

( Читать дальше )