Блог им. Buybuy

Ранние мысли о втором конкурсе

Доброй ночи, коллеги!

По прежнему сохраняется желание проверить текущие скиллы community на предмет умений в оптимизации / curve fitting.

Первый конкурс не вызвал ровным счетом никакого интереса, поэтому предлагаю поднять ставки.
Думаю, приз в 100 тыс. руб. может вызвать больший интерес. А может быть, и нет.

Стартовые условия почти такие же:
Есть массив минутных баров EURUSD длины, к примеру, 14400 баров (2 недели) в формате OHLC (open, high, low, close) и сколь угодно длинная предыстория для обучения (до 250,000 баров в целом. Думаю, будет более, чем достаточно))))
Требуется подобрать оптимальный линейный индикатор (линейная комбинация предыдущих приращений цен close), который покажет максимум эквити.

На этот раз мы будем работать лимитными ордерам. Подробнее:
1. По итогам бара (и предыдущих баров) считаем индикатор и формируем лимитный ордер на покупку/продажу по цене close
2. Точнее, если индикатор показал значение >=0, то встаем в покупку, если <0, встаем в продажу
3. Индикатор рассчитывается только на основании массива close (это нефатальное упрощение, в противном случае ответ усложится)
4. Если пытаемся открыться вверх по close(t), то открытие состоится, только если low(t+1) будет меньше close(t) хотя бы на 1 прайсстеп
5. Если пытаемся открыться вниз по close(t), то открытие состоится, только если high(t+1) будет больше close(t) хотя бы на 1 прайсстеп
6. Прайсстеп для EURUSD = 0.1 pips (0.00001)
Этого достаточно для полного расчета финреза.

Точную формулу для лимитной эквити приводить не буду (она громоздкая) и не хочу. Предположительно, все тестеры (программные и человеческие) знают, что такое работа лимитными ордерами.

Задача — показать максимум эквити на тестовом участке

От участника требуется массив коэффициентов индикатора в формате csv определенной длины (любой до 16000, дабы можно было легко делать верификацию в Excel) и его понимание финреза стратегии на тестовой выборке (число).
На этот раз конкурс точно будет платным, т.к. человек может быть уверен, что его тестер/программа дали правильный финрез, но (сужу по своему опыту) в 50+% случаев это точно будет не так. Думаю, за 100 руб. найду исполнителя для проверки результата. При призе в 100,000 руб. это не слишком высокий начальный взнос. Ну и при работе лимитниками на минутных барах уже все встроенные тестеры считают с косяками и глюками (интеллигентный ТСЛаб при этом косячит в пользу кошелька клиента))))

В целях гуманности (если конкурс состоится) будет обозначен порог в 50% от идеального результата. Конкурсанты, показавшие меньший финрез, к участию в конкурсе не допускаются и могут не присылать свои версии индикатора. Среди остальных победит сильнейший. Из одинаковых сильнейших победителем признается тот, кто пришлет свой результат раньше.

Ваше мнение, коллеги?
Работаем или ну его нах?

С уважением

P.S. Мне известен предположительный абсолютный максимум, который практически невозможно перебить. Он будет обозначен, т.к. проходной порог для стратегий — 50% от этого максимума. Однако, чудеса случаются, так что я согласен поднять приз х2 в случае его превышения хотя бы на 1%.
★1
67 комментариев
Да, совсем забыл

Если изжогу вызывает конкретно EURUSD — его можно заменить на что угодно — крипту, российские акции, мировые фондовые индексы, товарку и т.д.
С акциями и фьючерсами на них, правда, надо будет согласованным образом аккуратно исключить периоды тонкого рынка и оставить только основную сессию, дабы не обсчитывать разную ерунду.

С уважением
avatar
Размер призовых свободного времени не добавляет:))
С уважением!
avatar
bozon, это точно. Тут только вопрос времени. Я бы на раз два решил задачку, да некогда. Надо везти заказ из Макдоналдса на велосипеде.
avatar
monte_carlo, для студентов технических вузов неплохой вариант с пользой провести свой досуг между сессиями.
avatar
bozon, так это задача студенческого уровня? 
avatar
monte_carlo,  точно нет

С уважением
avatar
Мальчик Buybuy, я догадался. Это коллега bozon опрометчиво ввернул про студентов. А я пытаюсь ему на это намекнуть.
avatar
bozon, ну...

Я могу и на миллион конкурс объявить.
К сожалению, с таким прогрессом его условия на СЛ смогут переварить и понять 2.5 человека...
Добрая половина из них использует другие подходы к анализу рыночных цен и откажется участвовать...
Вторая половина не захочет палить ранние подступы к Граалю и промолчит...

С уважением

P.S. А я просто пытаюсь объяснить (не разжевать и положить в рот), что к анализу рыночных цен существуют разные подходы. В т.ч. вообще не использующие вероятностные характеристики рядов…
avatar
Мальчик Buybuy, про «разжевать и положить в рот» понятно и без призовых. Но когда разговор заходит непосредственно про материальную выгоду за верные расчёты, безобидное хобби всегда превращается в рутинную работу.
Если отбор конкурсантов продлится хотя бы до конца года, обязательно буду претендовать даже на x2!
ПС:… а за миллион призовых можно и на годик в отпуск уйти:))
avatar
bozon, тут такое дело

К конкурсу проявили интерес 2 человека. При этом один будет участвовать не в конкурсе, а в призовом фонде )))

Это мало. Если интерессантов будет чуть больше — я легко могу объявить его со сроком принятия решений до НГ.

С уважением
avatar
Мальчик Buybuy, Я могу и на миллион конкурс объявить.//

Тогда уже и Севен может подтянется)) И одним текстовым комментом убьёт Вашу задачу))
avatar
приз в 100 тыс. руб. может вызвать больший интерес
у меня вызвал...
где можно получить аванс в 50 000 руплей?
avatar
wistopus, отлично!

Подъезжаете к моему нотариусу, быстренько оформляем договор нотариального займа под залог души, получаете деньги — и понеслась)

С уважением
avatar
Мальчик Buybuy, 
тута проблема, Мальчик, я не знаю, где моя душа.......

а нотариусы свои у нас  найдутся…
avatar
«абсолютный максимум» по какой причине скрывается и когда будет рассекречен?
avatar
shura, да не секретный он

1. Зависит от ценового ряда (мы с ним пока не определились)
2. Нет мотивации выкладывать результат просто так

Если никто не попытается решить задачу, то и ответ будет непонятен

С уважением
avatar
Мальчик Buybuy, появятся ли участники, если результат имеет какую-нибудь ценность? Кмк корову оставят себе.
avatar
shura, не знаю

Результат (массив коэффициентов) не имеет никакой ценности.
Методика его получения несет огромную ценность.

С уважением
avatar
Мальчик Buybuy, простите гуманитария, разрывает мозг. На 250к барах ищем 16к коэффициентов, чтобы потом показать результат на 14к тестовых? без пересчета во время теста?
avatar
shura, Вы абсолютно правы — столько данных не нужно

Ибо это задача на подгонку

Но запас карман не тянет)

С уважением
avatar
Поясните, пожалуйста, задача очень интересная. Что означает прислать параметры линейного индикатора. Индикатор уже известен? Или нужно самому запилить свой индикатор?
avatar
Serj90, конечно самому свой

С уважением
avatar
Мальчик Buybuy, хм, а массив данных нужен чтобы доказать что при моем собственном индикаторе именно вот этот набор коэффициентов дает наибольшее эквити? Я просто не понимаю как и с кем предполагается сравнивать в дальнейшем?
2 человека, у них разные собственные индикаторы и естественно каждый из них с лучшим набором коэффициентов.
Получается цель конкурса создать индикатор, у которого наиболее эквити, но с условием что вход в сделку осуществляется если у текущего бара close(t)>low(t+1) для лонга и close(t)<high(t+1) для шорта?

avatar
Serj90, ну посложнее немного

Исходник — массив из 250000 баров в формате OHLC
Цель — набор из не более чем 16 тыс коэф
Результат проверяется путем подстановки этого массива в программу
Эквити считается примерно так, как я написал. Не слишком просто, но не смогу разжевать без #многобукофф

С уважением
avatar
Попробую дать подсказочку тому, кто захочет за это дело взяться. Ну или по крайней мере это информация, которая может быть интересной кому-то. Судя по характеристикам задачи, с помощью брутфорса, на домашних машинах она не решаема. Я в свое время, правда это уже довольно давно, пробовал сравнивать эффективность разных библиотек для GA оптимизации, задача тестов была такая же, максимальная эквити. Коэффициентов там было значительно меньше, конечно. Из того что сравнивал, помню встроенные оптимизаторы амиброкера, Мультичартс, трейдстешн, а также SDK от Palisade, Матлаб и длл от TS Research для Омеги. Так вот последняя была безусловным чемпионом. Результаты были лучшие, а затраты времени в разы меньше чем у всех остальных. Хотя за 6-7 лет с тех пор наверняка написано сколько всего нового, что мои данные уже не актуальны совсем.
avatar
Andrew Morozov, Вы правы

С помощью брутфорса для решения потребуется квантовый комп.
Поэтому придется включать мозги.

С уважением
avatar
К конкурсу проявили интерес 2 человека.
...
Это мало.
Ок, +1 человек к конкурсу на 5000 и 1e5 руб.
avatar
нужно выложить референсную минутную историю, а то у всех будет разный результат
avatar
wrmngr, Конечно

Как только определимся с валютой

С уважением
avatar
Eugene Logunov, с запасом на все случаи жизни

В реале больше длины окна (14400) не нужно никогда
Если кто-то впишется, можно принудительно ограничить (скажем, 500)

С уважением

P.S. Перебором уже окно 6 плохо считается, >= 10 вообще анриэл
avatar
Надо бы уточнить по поводу виртуальных лимитных ордеров. Я так понимаю, система реверсивная, т.е. сигнал противоположной направленности (к предыдущему сигналу) означает закрытие уже открытой сделки и тут же открытие сделки в противоположном направлении? Последовательные однонаправленные сигналы означают открытие единственной сделки соответствующего направления и ее сопровождение до получения противоположного сигнала или каждый однонаправленный сигнал в последовательности (+1, +1, +1, ...) означает открытие новой сделки (пирамидинг)? Реверс (стоп-переворот) подчиняется тем же правилам, что и открытие сделки (т.е. если вторая свеча не зацепила стоп, его уровень снова пересчитываем на каждом баре, пока убегающая цена его не зацепит или индикатор снова не поменяет направление)?
  Или все предельно просто — никаких разворотов, просто лупим лимитки на каждом баре согласно показаниям индикатора, и куда кривая вывезет — там и будем?

И второе. Судя по условиям, цель — зафитить только результат на тестовой выборке, т.е. на предыстории эквити по индикатору может рисовать адский треш?
avatar
Искатель, уточняем

1. Система реверсивная
2. Объем всегда одинаковый
3. Реверс подчиняется тем же правилам, если индикатор показал реверс

Да, только зафиттить на тестовой выборке

С уважением
avatar
Мальчик Buybuy в каком направлении вы посоветуете копать грааль?
avatar
reconstructor, ну тут все просто

Для начала вывести точную формулу для эквити как функцию от значений индикатора и массива HLC.
Ну или хотя бы рекуррентное соотношение для приращений эквити.

С уважением
avatar
Мальчик Buybuy, Вы о каком индикаторе говорите?
HLC актива или эквити?
avatar
reconstructor, о любом

HLC актива, как это приведено в условиях задачи

С уважением
avatar
Мальчик Buybuy, по Вашей терминологии .
индикатор=модель рынка=грааль.
интересует идеи по поиску грааля(индикатора)
avatar
reconstructor, нет

Грааль = это способ максимизации эквити. В этом, собссно и состоит путь трейдинга.
Просто я не понимаю (и не смогу понять, наверное), как можно пытаться максимизировать эквити, не умея написать явное выражение для этой самой эквити (ну или ее приращения за бар).

Модели рынка при этом (пока) вообще не обсуждаются.

С уважением
avatar
Мальчик Buybuy, Вы ставите телегу впереди лошади.
Сначала модель рынка и потом на его основе максимизация эквити(манименеджмент и правила открытия и сопровождения сделки). 
или Вы считаете что это невозможно(модель рынка)?
avatar
reconstructor, нет

Просто я считаю, что модель вторична

Многие вещи по максимизации эквити можно сделать и без модели рынка

ММ — только тогда, когда эквити начнает давать стабильно положительное матожидание

С уважением
avatar
Мальчик Buybuy, можно, но без модели результат будет случайным и нестабильным. единственный вариант это модель рынка или дискретной ситуации.
Вы пробовали сделать грааль?
avatar
reconstructor, это просто неверно

Можно и без модели узнать многое о том, как должен быть устроен оптимальный индикатор (и как он не может быть устроен). Направление подхода я указал, просто на этом пути придется сделать большое количество непростых вычислений.

Что касается модели рынка — она нужна, конечно. Но ее не так и просто построить.

Пока (кроме полной ереси, типа случайного блуждания), я видел только одну нетривиальную модель (у А. Г.), и я с ней не согласен (по разным причинам).

Вопрос — у Вас есть модель?

С уважением

P.S. Да, у меня есть модель
avatar
Мальчик Buybuy, у меня нет модели поэтому спрашиваю о идеях.
Уточните пожалуста, что ошибочно в моем предложении.

(устроен оптимальный индикатор ) = модель рынка, в моем понимании.
Что вы подразумеваете под устроен и не м.б. устроен?

Т.е. по Вашему мнению рынок не случаен?
avatar
reconstructor, Вы все в кучу смешали

1. Оптимальных индикаторов полно, например:

smart-lab.ru/blog/710890.php#comment12793758

и из них никак не вытекает модель рынка

2. Рынок случаен. Но чем ниже таймфрейм, тем меньше элемент случайности

Как-то так

С уважением
avatar
Мальчик Buybuy, 

предположу как должен быть устроен индикатор(модель рынка)
сканирует историю и в выявляет стационарные закономерности в поведении лиц принимающих решение вступить или выйти из актива.
Вы пробовали учесть тех кто только собирается вступить в игру?

avatar
reconstructor, я анализирую только ценовые ряды (OHLC)

Они предположительно нестационарны
Как учитывать лиц — мне неведомо

С уважением
avatar
Мальчик Buybuy, суть грааля в том чтоб найти стационарный элемент в модели построенной на основе OHLC. почему Вы упорно упускаете V?
Ряд OHLC возможно нестационарен, как Вы думаете оттуда можно извлечь стационарность?
avatar
reconstructor, я не использую объем

Более того, на основании OHLC я могу построить величину, которая прекрасно корреллирует с побарным объемом.

С уважением

P.S. Кое-что стационарное можно выделить
avatar
Мальчик Buybuy, рынок это марковский процесс?
avatar
reconstructor, нет (IMHO)

Но если Вам удобно, Вы можете использовать любую модель, в т.ч. марковскую. Главное, чтобы она давала стабильную прибыль.

С уважением
avatar
Мальчик Buybuy, (на основании OHLC я могу построить величину)
предположу что (H-L)*C= объем?
avatar
reconstructor, нет

На основании минутных OHLC можно построить величину, эмулирующую объем для более крупных таймфреймов (часовки, например)
На основании тиков можно построить объем для минуток

Как-то так

С уважением
avatar
Мальчик Buybuy, Как Вы это делаете секрет?
avatar
reconstructor, да, секрет

У меня нет потребности в озвучивании своих разработок.
Поэтому делюсь знаниями только в формате задач/конкурсов.
Кто захочет — попробует разобраться.

С уважением
avatar
Мальчик Buybuy, Забавно что вы считаете себя умнее Саймонса)))
smart-lab.ru/blog/394251.php
«Саймонс нанимает в свой фонд  Rerenaissance technologies Ленни Баума для исследования и использования в финансах математического феномена русского математика под названием Марковский процесс». США 80ые года.
avatar
reconstructor, ну не уподобляйтесь бульварной прессе )))

Мне неизвестно ни то, какое в точности образование получил Саймонс, ни список его научных достижений, для того, чтобы считать, кто из нас умнее.

Что касается исследования феномена, то исследовать можно что угодно, вплоть до влияния планет, звезд и созвездий (астрологии) на трейдинг. И это нормально. Никто никогда не писал, что Саймонс использует марковские процессы в торговле. И сам Саймонс никогда об этом не говорил.

С уважением
avatar
Мальчик Buybuy, это общеизвестный факт)

avatar
reconstructor, а Вы романтик, уважаемый)

НИ ОДИН профессионал мирового УРОВНЯ НИКОГДА не расскажет базу, на которой разработаны и работают в продакшне боевые алгоритмы.

С уважением

P.S. Чтобы не было непонимания — себя я к профессионалам не отношу
avatar
Мальчик Buybuy, никто и не говорил что он сам об этом сказал.
как известно что знают двое знает и свинья(поговорка).
Вопрос был с подвохом, на общую квалификацию.
большинство известных мне математиков/физиков натягивают сову на глобус, не задумываясь о применимости глобуса для совы)
avatar
reconstructor, а Вы самоуверенный оказывается)

Такой комментарий я могу принять только от математика)
Но не от Вас)

С уважением

P.S. С каких это пор квалификация заключается в умении собирать слухи в СМИ?)
avatar
Мальчик Buybuy, на самом деле сомнение закралось когда Вас начало клонить в индикаторы, думал стеб)
второй звоночек это упускание из виду объема.
Вы «типичный» математик на рынке.
avatar
reconstructor, благодарю за оценку моей квалификации

1. Любая ТС — это индикатор. Если она встает в покупку, считаем, что индикатор показал значение 1, если в продажу, то -1
2. Линейные индикаторы достаточно бесполезны (хотя к это классу относятся скользящие средние, моментум и несколько других). Но это удобные кирпичики, и почти любая ТС эмулируется портфелем систем, основанных на линейных индикаторах (возможно, бесконечным)
3. Если объемы так важны — подскажите плз, кто заработал с их использованием хотя бы миллиард долларов

С уважением
avatar
Мальчик Buybuy, Добрый день. Немного опоздал, но готов принять участие. Где взять оговоренные выше данные для подгонки?
avatar
Готов поучаствовать, правда пока не уверен что хватит вычислительных мощностей ))
avatar

теги блога Мальчик buybuy

....все тэги



UPDONW
Новый дизайн