Алгоритмы Renaissance Technology (RenTec).

Предыстория такова: я много занимался и занимаюсь музыкой, точнее «записываемой музыкой». И у меня экономическое образование.
На определённом этапе своих исследований в области музыки, а затем и трейдинга, я пришёл к практическому выводу о наличии колебаний в ценовых рядах, похожих на синусоидальные. В этом нет ничего нового: среди экономистов давно известны теоремы и работы советского математика Евгения Слуцкого, — о том, что даже случайные, но сильно коррелированные величины (например ценовой ряд) после сглаживания (фильтрации, даже МА-шками, скользящей средней) — может создавать синусоподобные колебания.
На Уолл-Стрите фамилию Евгения Слуцкого произносят шёпотом — да и то только среди знающих людей. Дело в том, что хотя работы Слуцкого не дают ПРЯМОГО рецепта прибыльных торговых систем, но дают хоть какое-то понимание разных странностей на биржевых рынках.
Евгений Слуцкий закончил мой родной Киевский Университет в 1911 году, по ходу учился в Германии, потом вернулся, потом ужЕ при большевиках-коммунистах работал на Украине, потом его перевели в Москву, в Институт Конъюнктуры, где после расстрела Сталиным его начальника (ну знаете ли — свобода, маркетинг и открытые рынки противоречат идее антихристов-коммунистов) — Евгений Слуцкий прекратил активную научную деятельность, и умер в России.
https://ru.wikipedia.org/wiki/%D0%A1%D0%BB%D1%83%D1%86%D0%BA%D0%B8%D0%B9,_%D0%95%D0%B2%D0%B3%D0%B5%D0%BD%D0%B8%D0%B9_%D0%95%D0%B2%D0%B3%D0%B5%D0%BD%D1%8C%D0%B5%D0%B2%D0%B8%D1%87
На Украине идеи Слуцкого получили второе рождение сначала в Украине — с подачи академика Ермольева и его ученика- профессора Александра Ястремского (сына профессора Ивана Ястремского, который ещё в советское время имел смелость выступать за кооперативное производство при социализме). Профессор Александр Ястремский являлся моим преподавателем по стохастической оптимизации в Унитете. Позже он руководил кафедрой экономической кибернетики в КГУ, и затем передал бразды правления кафедрой Александру Черняку, специалисту по теории вероятностей. Черняк тоже пишет статьи по работам Слуцкого. Раньше я регулярно общался и с тем и другим.
А в России?
В России ТОЖЕ понимают фундаментальность работ Слуцкого и выпустили недавно большую книгу с работами Слуцкого и разными вариациями различных учёных России и Украины на эту тему. Профессор Александр Черняк из КГУ написал для этой книги кажется тоже статью.

Итог 1 : по Слуцкому даже случайные «всплески» ценовых рядов при их исследовании или обработки (например при фильтрации) могут порождать синусоподобные устойчивые колебания. А если они там есть, то их можно выявить частотными «спектральными» методами.
Итог 2 : работы Слуцкого и выводы из них никогда не выпадали из поля зрения учёных-экономистов в Украине, России.

Теперь давайте посмотрим на проблему «периодичности» с другой стороны. С СОВСЕМ ДРУГОЙ стороны — где периодичность является злом — а именно: в теории и практике кодирования. Для дешифрации без ключа — НАУЧНЫМ СПОСОБОМ — шифрованный текст размещается в виде матрицы и затем МНОЖЕСТВОМ разных способов проверяется её «качество». Если в матрице найти разные закономерности, то есть периодичности, то их оттуда можно вынуть — и это служит основой для разбивания шифра.
Таким образом и шифрование и экономика-трейдинг приходят к одному общему — отысканию периодичностей в кажущемся случайным потоке данных.
Так оно и было с Джеймсом Саймонcом и фирмой Renaissance Technologies:
работая поначалу как «чистый математик» над шифраторами-дешифраторами для военных, Саймонс с товарищами разумеется хорошо знал о методах выявления закономерностей, дефектов (периодичностей). А потом у него был скандал с военным руководством — Джеймс Саймонс выступал против войны США во Вьетнаме. Его уволили, но кто-то подсказал ему что это всё можно использовать для прогнозирования ценовых рядов.
Скорее всего это был Элвин Берлекэмп (Elwyn Berlekamp), автор их первой торговой системы:
https://ru.wikipedia.org/wiki/%D0%91%D0%B5%D1%80%D0%BB%D0%B5%D0%BA%D1%8D%D0%BC%D0%BF,_%D0%AD%D0%BB%D0%B2%D0%B8%D0%BD
Элвин Берлекэмп умер полгода назад.
Саймонс поручил в 1990 Элвину написать торговую систему, учитывая теоретические знания Саймонса и его «дешифрованных» товарищей.
В начальном виде она сперва давала прибыль, но потом начала сбоить. Они полностью её переписали и примерно с 1992-93 года она работает стабильно.  Они первые на Уолл-Стрите купили себе суперкомпьютеры CRAY, и даже разместили фирму возле залива в Нью-Йорке, где легче было организовать водяное охлаждение компов (ну и заодно поближе к университету со старыми товарищами-математиками).
Rentec вошла в деловой контакт с крупными банками — чтобы обеспечивать себя деньгами в управлении и полигоном для испытаний своих алгоритмов, а им — алгоритмическое преимущество, когда банк работает как Market Maker на бирже.
Но чем ближе к «стакану» биржи, тем трейдер (то есть RenTec + банк) вынуждены были работать с более короткими периодами и бОльшим потоком данным. На определённом этапе RenTec обнаружила что компьютеры CRAY, которые она использовала (скорость тогда была примерно 1-2 Гигафлопса), не справляются с их «грубыми» спектральными алгоритмами. И тогда RenTec «купила», то есть переманила к себе ВСЁ подразделение цифровой обработки сигналов из фирмы IBM. Дело ещё в том, что в DSP (это «цифровая обработка сигналов»), часто используются алгоритмические «фокусы»-улучшатели, про которые не знают ни обычные математики, ни обычные программисты, ни тем более трейдеры.
Откуда я это знаю? Так это же очевидно!
Как ещё можно получить прибыльность 40...60 % в год, если индекс акций SP500 растёт по 10% в год?
Вы просто обязаны ловить ВСЕ колебания рынка, а не только глобальные длинные тренды. А это можно сделать, только выявляя синусоидальные колебания. В конце концов единственным, в чём вы можете быть «уверены» в современной математике — это движения синуса и косинуса обратно вниз.
В 2013 году я выложил вкратце описание их алгоритмов на сайте Nuclearphynance.com :
http://www.nuclearphynance.com/Show Post.aspx?PostIDKey=4851
У меня есть жестокое подозрение, что самим сайтом nuclearphynance.com владеет сам миллиардер Джеймс Саймонс, так как я был СРАЗУ же забанен после своего краткого выступления там — безо всякой причины и пояснения.
Дело ещё в том, что между европейской английской школой алготрейдеров — это Paul Wilmott, Daniel Duffy, ныне покойный Mark Joshi и другие дружественные им люди (теоретики, хорошие теоретики, практиков мало), и условно говоря высокомерной американской школой (коих на самом деле много, и они не дружат между собой) — между ними существовала раньше неприязнь.
Война там была подковёрной и малоизвестной. Как результат, — сайт и форумы по теме quant finance разделились на два лагеря — nuclearphynance.com и wilmott.com.
Затем, позже я описал вкратце все основные алгоритмы на форуме Wilmott, но НИКТО из квантов планеты Земля не проявил интереса.
За исключением одного мало-известного трейдера математика из Европы. НИ ОДИН.
https://forum.wilmott.com/viewtopic.php?f=38&t=85860
Затем, после критических публикаций про RenTec, после скандалов с «дружескими связями» RenTec c крупнейшим вором в истории человечества Берни Мадофф, на воровство которого смотрели сквозь пальцы и комиссия CFTC и налоговая служба IRS, и ФБР, после скандальной щедрой денежной поддержки коррумпированной Хилари Клинтон лично Джеймсом Саймонсом,
http://www.zerohedge.com/news/2016-08-22/meet-puppetmaster-hedge-fund-behind-us-presidential-election
после всех этих и других событий, — RenTec по видимому предложил Paul Wilmott зарыть топор войны. Так на свет внезапно появилась книга Paul Wilmott «Money formula», где Поль Вилмотт… поёт дифирамбы James Simons и фирме RenTec.
https://www.amazon.com/Money-Formula-Finance-Science-Mathematicians/dp/1119358612
Примечание: алгоритмы, применяемые для настоящего спектрального анализа — в корне отличаются от алгоритмов неправильного «метода Фурье», и представляют собой сложную алгоритмическую задачу. И везде там приходится натыкаться на сложно-решаемые задачи, типа численного дифференцирования, и даже банальную аппроксимацию — регрессию, НО которую НАДО ДЕЛАТЬ ПРАВИЛЬНО, а не так как это делают физики или радио-техники. Об этом недавно проговорился один из бывших сотрудников RenTec в интервью. Он не понимал, зачем так скурпулёзно его заставляли делать свой кусок банальной аппроксимации-регрессии, которую любой трейдер делает на MetaTraider-4/5 — парой кликов мышью. А вот потому что так надо! Потому что Джеймс Саймонс никому не выдаёт всю цепочку сложного (сложнейшего) алгоритма, и качество детектирования условно говоря «сигнала» — критично для последующих шагов в сложной цепочке. Здесь ничего нового — над похожей задачей распознавания речи бьются многие фирмы.
Ведь открытые рынки ГОВОРЯТ — друг с другом. То что Вы видите на экране торгового терминала — это разговор разных торговцев и разных рынков друг с другом.
Как видите, это всё «чистая математика», и работает без догадок трейдера с экрана. Разумеется, никто из тредеров или тем более менеджеров с Уолл-Стрит не мог ничего дать фирме RenTec. На Уолл-Стрите шутили — что «величайшим секретом RenTec является то, что они не берут никого с Уолл-Стрит».
В самом деле, что человеку с Уолл-Стрит там делать?

Ещё один малоизвестный факт: на определённом этапе большой вор Берни Мадофф решил покататься на полу-секретной славе заоблачных
показателей прибыльности фирмы Rentec. Он дал в управление RenTec 200-300 миллионов долларов — на очень выгодных для RenTec условиях. Но с условием, что будет пользоваться ими сам время от времени. Конечно, это нужно было ему для разговоров с его инвесторами.
Он многозначительно намекал им, что «деньгами управляет RenTec». Таким образом Мадофф получал авторитет у инвесторов задаром. Через год-другой RenTec узнала об этих разговорах и посмотрела на свои бухгалтерские балансы, — по которым получалось, что Берни Мадофф платит RenTec, 100 миллионов долларов в год — только за то, что ИНОГДА деньги Madoff пару месяцев ходят в обороте у RenTec. Всё это плохо пахло.  Старый вопрос игрока в карты — «кто дурак в этой схеме? И если ты не знаешь ответа — то этот дурак — ТЫ».
Просто так деньги на Уолл-Стрит никто не платит. И тогда RenTec отказалась от денег Madoff. Позором для James Simons является то, что они НИКУДА НЕ ЗАЯВИЛИ о своих сомнениях и подозрениях. Разумеется, доказать они юридически ничего не смогли бы тогда сами, но афера Мадоффа была бы тогда разоблачена в самом начале. Но и Джеймс Саймонс и Берни Мадофф — оба евреи, а инвесторами Мадофф были многие известные евреи, и тогда в тесной еврейской тусовке Нью-Йорка — RenTec решили лучше промолчать и просто отдать деньги Мадофф обратно.

Я не пишу здесь о БИЗНЕС-событиях в истории RenTec. Это без меня сделал юрист-менеджер из Англии Julian Versteeg.
Вот тут:
https://medium.com/@63ey5f4uw3k42v1exp7/chronology-mercer-medallion-fund-9aa719ceeb4f
После написания этой статьи, раскопав всё подробно, Julian тут же получил должность в большом инвестиционном фонде и управляет кажется около 60 млрд USD в Лондоне.
Джулиан Верстиг там пишет в несколько негативном ключе об RetTec и о Джеймсе Саймонсе. Если быть точным, в прилично негативном ключе, хотя факты изложены верно.
На форуме квонтов Wilmott меня спросили — почему Джулиан написал именно так, в негативе (смешно, я-то тут при чём?)? Наверное потому, что закрытая фирма RenTec, зарабатывая на и пользуясь открытыми биржевыми рынками, регулярно вляпывается в разные финансовые скандалы и расследования (хотя в телевизоре и на Ютубе  — Джеймс Саймонс корчит из себя доброго дядечку мецената):

«Why Did RenTec Keep Their Madoff TRS After Uncovering His Ponziness, And Other Questions»
www.zerohedge.com/article/why-did-rentec-keep-their-madoff-trs-after-uncovering-his-ponziness-and-other-questions?lipi=urn%3Ali%3Apage%3Ad_flagship3_messaging%3BS2h22ABpSyCn3a03yEnjgw%3D%3D

«How they failed to catch Madoff»
fortune.com/2011/05/10/how-they-failed-to-catch-madoff/?lipi=urn%3Ali%3Apage%3Ad_flagship3_messaging%3BS2h22ABpSyCn3a03yEnjgw%3D%3D

«Renaissance to SEC: Seeing Madoff's Fraud Wasn't Rocket Science»
www.businessinsider.com/renaissance-seeing-madoffs-fraud-wasnt-rocket-science-2009-9?lipi=urn%3Ali%3Apage%3Ad_flagship3_messaging%3BS2h22ABpSyCn3a03yEnjgw%3D%3D

«US Senate hearings about abuse of structures products»:
www.hsgac.senate.gov/download/report-abuse-of-structured-financial-products-misusing-basket-options-to-avoid-taxes-and-leverage-limits

        Объяснительная записка — 2.2

    Недавно познакомился с интересным трейдером. У нас совершенно разное образование и работали мы в совершенно разных прикладных областях, но, мы проработали одни и те же энциклопедии технических индикаторов и, похоже, у нас был близкий менталитет, потому, что мы разными путями пришли к общей идее.

    Мы не раскрывали друг другу свои решения, но я посмотрел несколько его постов и (надеюсь) смог провести правильную реконструкцию (читай reverse engineering) этого решения. А еще отрадно, что не только я смог это сделать, меня опередили в тех постах.
К этой общей идее я пришел даже несколькими разными путями. Более того, я проверил ее в приложении к музыке, взял ноты одного шлягера, оцифровал частоты и длительности — получил временной ряд, к нему и применил ту идею — получилось очень неплохо.

    Простые выводы:
— одни и те же закономерности могут действовать в разных прикладных областях, включая рынок;
— есть смысл поохотиться за «чистыми» идеями, поискать их в рынке и вне рынка;
— reverse engineering работает, иногда даже небольшого намека достаточно для раскрутки.
-----------------
    Еще пример на тему единства законов природы и междисциплинарности рынка.
Цитата из Гигеренцера.

( Читать дальше )

               Объяснительная записка — 2.1



«Думать – это как любить и умирать.
Каждый должен делать это сам».

Неизвестный автор
Дайана Халперн «Психология критического мышления»

   Тема все та же — фрактальность и хаос в рынке. Тема узкая, тихая, полупубличная, малопонятная и не всем по силам, для энтузиастов.

   Очень сложный для меня пост. Буду пытаться догнать сразу несколько зайцев.

   Я часто буду говорить «рынок». Рынок в целом или конкретный инструмент (акция, индекс или фьючерс, но не опцион), по контексту.

    Совершенно не предполагал, что придется препарировать свой мыслительный процесс, да еще и публично, да еще и в применении к рынку, но есть несколько причин, почему я это все-таки делаю.

    Те, кто уже вошел в тему, были единодушны в том, что не хотели раскрытия деталей. Тут по-своему интересное явление, похожее на «Ловушку-22». Многие хотят узнать что-то существенное и задают вопросы, но как только они это узнают и осваивают, то становятся ревностными хранителями этого знания. Могу успокоить, ваше знание не обесценится, преимущество останется, хотя вы неявно уже сами конкурируете между собой. Рынок не должен измениться, может только слегка деформироваться при массовом освоении, принципы его устройства очень прочны, а фрактал — самоадаптирующаяся конструкция.

( Читать дальше )

Так уж вышло, что пару дней назад я познакомился с терминалом QUICK и языком его скриптов — LUA

   Естественно, сразу возникла необходимость передать полный контроль над этим двумя сложнейшими приложениями чему-то более простому и понятному, например Матлабу, чтобы нажимая разноцветные кнопочки «Обыграть рынок» и «Что там опять у волатильности?» оставить конечному пользователю, то есть мне, только наслаждение от наблюдения за происходящим.


     Теоретически, для этого надо нанять менеджера COM из LUACOM.dll и дать ему в управление пару простых исполнителей — объектов LUA, чтобы высшее руководство МатЛаба могло эффективно распоряжаться ресурсами в иерархии 

 Руководство МатЛаб -> менеджер интерфейса  COM -> исполнитель  объект LUA 


       Но в силу каких-то неведомых причин (от сборки dll, до сборки MS Windows и даже предустановленного железа) сделать по теории управления с ходу не получилось, поэтому была использована альтернативная схема:

( Читать дальше )

Я никому не верю, пока сам не проверю.

По определению:

Маржинальный шаг – это шаг маржинального требования.

Формируются он по причине того, что при прохождении  ценой определённого пути против позиции трейдера,  необходимо будет или закрыть имеющуюся убыточную позицию, или долить средства для дальнейшего сохранения позиции.

Как вычислить Маржинальный шаг для торгуемого инструмента?

Возьмем, для примера, пару Евро/Доллар.

Так или иначе курс Евро на Форексе связан с фьючерсом Евро на СМЕ, так что в данном случае мы рассматриваем Чикагскую товарную биржу, ввиду того, что именно на ней проходят максимальные объемы торгов (максимальные, а значит наиболее значимые).

1. Перейдем на сайт cmegroup.com, где мы можем посмотреть маржинальные требования по торговле фьючерсными контрактами.
2. В верхнем меню выбираем Trading -> FX

( Читать дальше )

Это заключительная глава. Попробуем еще разместить все тексты и Excel-файл с примером расчетов на файлообменнике. После этого сочту свою задачу исполненной, уйду в зимнюю спячку.



( Читать дальше )

Существует мнение, что против «толпы» торгуют «контртрендовики», т.е. те, кто продает на росте и покупает на падении финансового инструмента. Однако статистика ЛЧИ с очень интересного сайта , до которого я добрался, говорит об обратном: «толпа» — это те, кто встает против движения

Вот открытые позиции по RIZ9 участников


Вот число участников по позициям



( Читать дальше )

Посмотрим, как это выглядит. В этом видео результаты труда и примеры индикатора для RI, Si и BR.


( Читать дальше )

По мере насыщения текстов формулами наблюдаю неуклонное снижение к ним интереса со стороны читателей Smart-Lab'а. Осталось недолго. Это глава предпоследняя и формул в ней мало. Напомню только, что рассматриваются только дельта-нейтральные стратегии, никакой направленной торговли.



( Читать дальше )