В прошлом топике [1] мы разобрались с тем, что и как подавать на входы нейросети (НС). Теперь надо как-то сказать НС — «Горшочек, вари», предварительно рассказав, что конкретно и как именно надо «варить». Мыслей, в общем, нет никаких. Потому, давайте обратимся к классикам — Саймону Хайкину [2,c.33]:

Вот так вот, сразу и на первых страницах — «не могут обеспечить готовые решения», необходимо интегрировать в сложные ситемы", «относительно простые задачи, часть из которых может решаться НС». Книга конечно старая, но и наш MLP (Multilayer perceptron) в составе scikit-learn новизной не отличается. Этому MLP еще и простую, да конкретную задачу подавай, и вокруг него «сложную систему» городи. Как-то энтузиазма поубавилось.

Ладно, коли на вход нашего MLP уже подается временной ряд, пусть он нам определяет, хотя бы приблизительно, моменты входа в Лонг. А мы потом его проверим, и уточним эти моменты.
Теперь нашу НС надо как-то научить находить Лонг — показать НС как правильно и как неправильно. А мы сами-то знаем как правильно? Учителя фиговы. Это с кошечками-собачками хорошо — показывай себе, и пусть учится.
А давайте что-нибудь предположим, назовем какие-то входы в Лонг правильными, а остальные неправильными. Если мы предположили какую-нибудь ерунду, то НС просто ничему разумному не научится, и при дальнейшей проверке это быстро выяснится. А что-то предположить нам поможет интернет.
Кстати, это свойство НС, отличать фантазии от действительных закономерностей, уже вполне можно использовать для проверки каких-либо наших педположений о поведении рынка. Надо только рассказать о них НС, и она скажет, есть там что-то, с чем следует работать, или выкинуть это и забыть.
Однако, обратимся к интернету. Несколько лет назад наш коллега по несчастью занимался методами Машинного обучения (МО) с целью победить рынок. Он строил массу предикторов, подавал их на входы различных систем МО, и обучал по разметке Зиг-Зага. А что, неплохая идея, входы — лучше не придумаешь.
Вообще, если на минимуме Зиг-Зага загородить правую часть графика, как-то сомнительно, что вообще можно что-то сказать о дальнейшем движении. Да, и по ходу пьесы этот минимум будет постоянно перемещаться. Да и наш коллега долго и упорно менял предикторы и системы МО, потом все реже, реже, и вообще пропал из поля зрения. А на истории, конечно, Зиг-Заг — лепота.
Давайте сдвинем точку входа в Лонг немного вправо от минимума Зиг-Зага, где цена уже начала расти. Мы получим некую U-образную кривую цены, на которой НС хотя бы cможет построить линию регрессии. Не говорю, что это хорошая идея, но мы с помощью НС попробуем ее проверить. Что получим? — понятия не имею, я это делаю по ходу написания материала.
Разметку правильных входов для обучения можно сделать по Зиг-Загу, установив какой нибудь разумный порог от его минимума.
А разметку неправильных входов кто сделает? Опять обращаемся к [2,c.60].

( Читать дальше )

ПЕРЕПОДГОНКА ч.2

В предыдущей заметке https://smart-lab.ru/blog/628025.php

я описал пример применения метода Монте-Карло для оценки переподгонки на базе дневных данных по фьючерсу на индекс РТС. Поскольку мало кто понял, о чем я, собственно, веду речь, и зачем это вообще  нужно, продолжу.

Весь расчет был сделан для считающегося условно-безопасным случая 3 – х индикаторов (2^3=8 кластеров). Резонный вопрос, а если кластеров больше или меньше, что будет. Для начала провел моделирование для случая 2, 4, 8, 16, 32 кластеров и привел эмпирическую формулу, связывающую результат с числом степеней свободы (число коих на 1 меньше числа кластеров).

Число кластеров	Степеней свободы	Средний Шарп	Приведенный Шарп
2	1	0,214	0,214

( Читать дальше )

Ниже некоторые мысли по поводу хеджирования алгоритмического трендового портфеля. Даже не то чтоб хеджирования, скорее еще одна стратегия в дополнение. Денег на нее кстати у меня поставлено не меньше чем на алготрейдинг. Никаких чудес. Речь идет о портфеле акций.

Для начала немного теоретических размышлений. Как известно рынок имеет 3  состояния: рост, падение и боковик. Но не каждый рост одинаков. Если брать в контексте трендовых систем, то рост может быть как по типу «ударный день» (т.е. равномерный рост практически без откатов), так и по типу «гэп — боковик» (рынок открывается уже хорошим плюсом и далее идет болтание на уровне). Дневная свеча на графике в обоих случаях будет одинаковая, но заработок у роботов будет отличаться.
Упрощенно я разделил все движения на 6 подтипов: ракета, унылый рост, крах, унылое падение, боковик и боковик-убийца. Боковики тоже отличаются, простой — это спокойный канал без особых сигналов, боковик-убийца — это нечто аля расширяющийся треугольник.
Если как ведет себя портфель акций более-менее понятно (на крахе сильно минусует, на росте плюсует и т.п.), то с роботами все несколько сложнее.
На основании наблюдений за своим «зоопарком» я установил примерную реакцию портфеля на разные состояния рынка (бывают конечно исключения, но в целом плюс-минус так). Обозначил значками. Соответственно ударные движения типа «ракета» и «крах» приносят максимальный результат, стопов не выбивает вообще. Причем 2-3 таких движения легко могут отбить даже годовую просадку. «Унылый» рост или падение отрабатываются  хуже, стопы периодически вылетают, но за счет диверсификации часть движения все равно удается ухватить. Далее соответственно боковики приносят убытки, простой в меньшей степени из-за отсутствия большого количества сигналов и «убийца» — максимально убыточный (стопы улетают один за одним). Результаты для наглядности свел в табличку ниже. Видно в какие моменты в теории стратегии работают в синергии, когда перекрывают друг друга и когда нет.

Для акций получается самый болезненный момент — это фаза краха, но тут хедж  со стороны алгоритмов достаточно надежный. На моей памяти еще ни разу трендовые системы не давали меньше прибыли, чем просадка портфеля, а зачастую за счет плеча на срочке прибыль в разы выше.

( Читать дальше )

Вначале о грустном. Не понимая теорию нейросетей (НС) у вас вряд ли получится построить на ней ТС. Поэтому лучше для начала почитать теорию, например, Хайкин Саймон. «Нейронные сети. Полный курс». Книга уже достаточно старая и в ней нет новомодных веяний, но она дает базовые представления о НС.

И второе, мы будем далее для построения систем использовать пакет scikit-learn для Python. рекомендую ознакомиться. Есть и более продвинутые пакеты, скажем, TensorFlow и др., но их использовать мы не будем, и ограничимся более простым scikit-learn.
Теперь о том, чего здесь не будет. Здесь не будет теории НС, разве эпизодически и оч кратко. Здесь не будет описания пакетов Python, работы с графикой и пр. Обо всем этом вы можете прочесть в интернете, книгах, и документации Python.
В топике мы будем обсуждать только применение НС к ТС и их построению.
Так как тема достаточно велика, в один топик не влезет, сегодня мы займемся самыми общими вопросами. Следующая часть будет недели через две, раньше не получается.

( Читать дальше )

Вчера написал топик «Рынок и термодинамика» о демоне и распределении Максвелла и возможной связи всего этого с рынком. Старался изложить это простым языком на простых примерах, и… никто ничего не понял. Да и интереса к топику особого не было. Фиговый из меня популяризатор. Вообще, это и не важно, зато я понял. Не зря говорят, что попробуй объяснить… кому нибудь, и сам поймешь. Так и получилось.)
Вообще, такие идеи о связи термодинамики и рынка у меня крутятся и продумываются давно, от них уже есть небольшой толк в качестве приближенной модели рынка, и понимания части процессов. Но сегодня оказалось, что все много интересней, надо только как-то проверить соответствие этого распределения реальности и рассчитать его параметры.
Взял в руки Python и историю котировок, и выяснилось, что из них, хотя и на косвенных данных, можно получить такое распределение.
Во первых, хотя о большой точности говорить не приходится, получилось что-то очень похожее на распределение Максвелла (м.б покажу когда, под настроение, хотя, думаю, неинтересно это). А во вторых, хотя это и не Грааль, это реально можно использовать при игре на рынке, т.к. теперь о состоянии рынка известно то, что раньше было неизвестно, и это многое объяснило.
Ну, и теперь можно ложиться спать.

Вы когда нибудь слышали о демоне Максвелла? Уже из школьного курса известно, что при некоторой температуре энергии молекул газа распределяются в соответствии с распределением Максвелла. Среди них всегда есть и очень горячие (с высокой энергией), и очень холодные (с низкой энергией). Если в сосуде с газом просверлить дырочку, поставить туда заслонку и попросить демона Максвелла открывать заслонку, когда извне к ней подлетает высокоэнергетическая молекула, и, открывая заслонку, выпускать из сосуда молекулы с низкой энергией, то газ в сосуде будет нагреваться.
В итоге нам не нужно никакой энергии для нагревания газа, а открытие заслонки дело нехитрое. Надо на досуге к чайнику такую штуку прикрутить.
Вы скажете, что это нереализуемо, и сто раз доказано что это невозможно. Однако это уже сотни лет успешно работает, но не с газом.)
Немного усложним задачу. Пусть в наш сосуд поступает струйка тепленького газа. Молекулы газа многократно сталкиваясь между собой обмениваются энергией с газом в сосуде. Опять сверлим дырочку, и демон Максвелла выпускает из сосуда через задвижку низкоэнергетические молекулы. Энергия будет отбираться у молекул поступающего газа, и газ в сосуде будет неизбежно разогреваться.
Пока нет никаких ассоциаций? Тогда подскажу — таким устройством является биржа.
Трейдер приходит на биржу с деньгами (энергией), многократно сталкивается с другими участниками, обмениваясь с ними деньгами (энергией). Приобретает или теряет энергию (деньги), и если его энергия (деньги) становится меньше некоторого порога, демон Максвелла услужливо открывает ему заслонку, и товарищ покидает сосуд (биржу). Биржа при этом, естественно, разогревается и количество энергии (денег) на ней увеличивается.

( Читать дальше )

Если вам кто нибудь скажет, что на случайном блуждании (СБ) нельзя зарабатывать, бросьте в него камень. Как говорил Паниковский — это жалкие ничтожные люди. На СБ можно зарабатывать с результатами не хуже, чем на реальном рынке. У СБ, по сравнению с реальным рынком, только один недостаток — за игры с СБ никто деньги платить не будет.
А если бы платили? Никто бы ничего не заметил. По прежнему 95% СБ-трейдеров сливало бы депозиты, а 5% регулярно выигрывало и считало бы себя Гуру. По прежнему на графики наносились бы каббалистические знаки и индикаторы, угадывались бы направления движения, каналы, и линии поддержки/сопротивления. Все так же начинающие трейдеры искали Учителя для обучения, а аналитики предсказывали будущее. И, ровным счетом, абсолютно ничего бы не поменялось. Может только АГ заметил бы подвох, но тоже не сразу, а только через несколько месяцев, а, может, и через год-другой. Но, легко сделать, чтобы и АГ остался в неведении.)

Однако, прежде чем играть на СБ, нам необходима стратегия и тестер. Ими мы и займемся.
Для начала стратегия: нам нужны три функции
— одна для пошагового слежения за рыночными котировками и определения момента входа в сделку — DealEntryAnalysis(i) и пусть на ее выходе будет: 0-если сделки нет, 1 — необходим вход в лонг, и -1 — необходим вход в шорт. i — номер отсчета массива котировок.
— вторая для сопровождения сделки лонг — DealControlL(i), отвечающая за контроль и закрытие сделки.
— и третья, для сопровождения сделки шорт — DealControlS(i).
Теперь у нас все готово для разработки тестера стратегий, а это всего лишь цикл while() последовательно перебирающий котировки.
Вот наша стратегия уже в тестере:

while i < Ie:
    deal_type = DealEntryAnalysis(i)
    if deal_type == 1:
        j, rep = DealControlL(i)
        deals_report.append(rep)
        i = j+1
        continue
    elif deal_type == -1:
        j, rep = DealControlS(i)
        deals_report.append(rep)
        i = j+1
        continue
    i = i+1

( Читать дальше )

Как и любой исследователь-инвестор, я сталкиваюсь с необходимостью обрабатывать огромное количество различных данных, чтобы принять взвешенное инвестиционное решение.

И одна из самых трудоемких частей работы — это сбор данных, их систематизация и подготовка для работы. Конечно, очень хочется как можно больше автоматизировать данную работу, чтобы тратить на это как можно меньше времени.

Я уже рассказывал, что на самоизоляции осваивал Python, и демонстрировал, что мне удалось написать профессиональный инвестиционный калькулятор, который рассчитывает различные финансовые показатели и сравнивает между собой два актива. Кстати, в последней его версии я добавил возможность учета комиссий и налогов. Это позволяет намного легче сравнивать NET результаты для инвестора, особенно если в стратегии по ДУ есть вознаграждение управляющего за успех, а в ПИФах комиссия за приобретение и погашение паев.

Все первичные данные для сравнения приходилось формировать в ручном режиме — скачивать котировки в файл, потом их обрабатывать, и уже потом считать результаты. И даже немало известная программа

( Читать дальше )

               Для численного моделирования переподгонки я взял дневки фьючерса на индекс РТС, с середины декабря 2006 по начало мая 2020,  которые корректно склеены. Сначала рассмотрим систему максимальной доходности для 1 фьюча, торгуемого в обе стороны. Её эквити будет сумма модулей логарифмических приращений дневок, взятая нарастающим итогом.  Финансовый «результат» 5207% (логарифмических), или 391% годовых. Число дневных баров 3356, коэффициент Шарпа с нулевым смещением (нулевой % ставкой) 9,8.

               Наша «подгонка» будет состоять из 2 этапов. На первом мы моделируем наличие 3 индикаторов с порогом, просто присваивая каждому приращению случайное целое от 1 до 8, которое будет номером кластера. Напомню, что каждый индикатор с порогом делит массив баров на 2 кластера, а 2^3=8.  На втором этапе суммируем дневные приращения внутри каждого кластера и приписываем кластеру позицию лонг, если сумма положительна и шорт, если отрицательна. Получаем эквити, для которой можно посчитать число сделок (перемен позиции), доходность, к-т Шарпа.

( Читать дальше )

Доброй ночи, коллеги!

Эх, давал я себе зарок не писать больше про Косю Сапрыкина Смирнова, но эта пулемётная очередь постов начинает доставать.
Скорее всего, виноват я сам, т.к. никто не мешает мне добавить Косю «Старый Дед» Смирнова в ЧС.
Но это не наш метод. Цензура почти никогда не приводила к позитивным переменам в обществе.

Однако, посколько зарок больше не писать про КС я давал публично, позволю прояснить свою позицию.
И оставить для потомства простое (практически на пальцах) объяснение, почему все эти квадратики/ромбики/треугольнички представляют из себя некую творческую разновидность онанизма и никак не применимы в реальном трейдинге.

Сначала немного предыстории.
В далекие года очень неглупый чел Бенуа Мандельброт, изучая ценовые ряды рыночных актовов, успешно выявил массу аномалий, отличающих их от обычного случайного блуждания (с разными модификациями, вроде логнормального распределения).
Дальше это уважаемый чел выдвинул массу интересных гипотез, типа фрактальности, мультифрактальности etc. Справедливости ради следует отметить, что гипотезы были красивые, но НИ ОДНА ИЗ НИХ НЕ ПОДТВЕРДИЛАСЬ, и это легко можно понять из настроя поздних работ Мандельброта, а также заката карьер его немногочисленных последователей (Э.Петерс и ещё 3-4 человека).

( Читать дальше )