Блог им. Buybuy

Новые мысли о старом конкурсе

Доброй ночи, коллеги!

За последнее время на SL расплодились статьи на тему curve-fitting. И меня это стало немного подбешивать. Попробую объяснить, почему?

1. Половина авторов топиков тупо не умеют считать эквити
2. Вторая половина юзает публичные терминалы, которые не умеют правильно считать эквтити (TSLab etc.)

В связи с этим возникла идея провести конкурс на знание и умение curve-fitting.

Условия:
1. ТС работает одним линейным индикатором и всегда в рынке (либо покупает, либо продает)
2. Входные данные даю я
3. Таблицу для проверки результатов даю я

По сути это означает, что участник конкурса дает коэффициенты простого линейного индикатора (обязательно) и свое мнение о результатах работы ТС на обозначенном массиве данных (необязательно, будет проверяться отдельным образом).

Сама  задачка простая, достойное вознаграждение я вижу в диапазоне 10-15 тыр

Играем?

С уважением

P.S. Мне кажется, что я знаю оптимальное решение. Если мой результат будет превышен — готов поднять премию в N раз )))
★3
73 комментария
достойное вознаграждение я вижу в диапазоне 10-15 тыр
долларов?
avatar
Вася Пражкин, не, рублев )))

Маркетная эквити на столько баксов не тянет...

С уважением
avatar
Мальчик Buybuy, тогда жду заданий на чиркан баксов )
avatar
Victor Gromov, это следующий этап

Просто тема «как уйти от курва фиттинг» требует серьезного математического бэкграунда.
Сомневаюсь, что это барьер преодолеет хотя бы 1% от резидентов СЛ.

С уважением
avatar
Мальчик Buybuy, ха-ха! Не требует.
Всё просто: алгоритм должен «квантовать» момент принятия решений по позиции. Могу подробно пояснить.
ПС: не хотелось бы обижать достопочтенных «лаборантов Мартынова», но 1 человек — это Очень Далеко не 1%:))
avatar
bozon, да, объясните плз

С уважением
avatar
Мальчик Buybuy, на сколько я понимаю «кур фитинг», это попытка подогнать меняющееся значение индикатора под текущую ценовую динамику. Зачем? При «квантовании» поступающей ценовой информации алгоритм уже учитывает меняющуюся ценовую динамику.
avatar
Может быть сразу выложите входные данные и таблицу для проверки результатов? Не конкурса ради — а тема интересна мне.
avatar
Здравствуйте! С удовольствием попробую свои силы в конкурсе. Как получить массив данных для подгонки?
avatar
Алгоритм в питоне забабахать и все )
avatar
СПАСИБО, что пнул ТСлаб. ))
avatar
Что там считать то? Купил за сто, продал за триста — вот на эти три прОцента и живем ))
avatar
Борис Боос, не три а два, математиг... 
avatar
Плюсанул, хотя я считал, что на СЛ в основном те, кто стремиться зарабатывать трейдингом и инвестициями, нежели те, кому важно, насколько «правильно рисуется эквити»))). Для меня, например, это вообще не имеет значение — важен финансовый результат торговли, а «красоту линий» можно и в Третьяковке посмотреть ;)
Хотя я и не имею ничего против того, чтобы для тех, кому важно грамотное изображение именно этих «рисунков» делали это более эффективно, особенно если это помогает им зарабатывать.
Просто мысли вслух) Все удачи в конкурсе.
avatar
Хотелось бы поподробнее, какая природа данных, какие условия для линейного оператора. Вы ничего не сказали о правиле принятия решения. 
avatar

«2. Входные данные даю я
3. Таблицу для проверки результатов даю я»

Как именно будет организован этот процесс? Вам дать почту, и вы пришлете туда данные? Извините, если это было где-то оговорено, но я не заметил. Просто это, кажется, уже третий пост на тему конкурса про линейный индикатор и задача ясна, но я так и не понял, как принять участие, где хранятся эти указанные данные и таблица((

avatar
Это еще не конкурс, а пока только мысли о нем. Будет интерес — будет конкурс. В прошлый раз интерес быстро затух.

Данные — реальные котировки EURUSD. Минутки. Close. Источник — LMAX Global.

Линейный оператор — просто триггер позиции. Применяется к предыдущим приращениям цен. Если значение >=0, то покупаем, если <0, то продаем
avatar
Мальчик Buybuy, 
Сама задачка простая
Шутка засчитана )). Нет, если, конечно, размерность пространства линейного оператора 10^1. Но вы же работаете с размерностью 10^3.

В прошлый раз интерес быстро затух. Достойное вознаграждение я вижу в диапазоне 10-15 тыр.
Потому и затух )).
avatar
Иван Портной, какова сложность — такова и премия)

Аналогичная задача для лимитной эквити оценивается в 50 тыр

Есть и задачки по 500 тыр, но лучше двигаться последовательно

С уважением
avatar
Мальчик Buybuy, 
 какова сложность — такова и премия)
Где же логика? «Интерес быстро затух» означает, что рынок считает цену ниже рыночной. 
avatar
Иван Портной, ну Ок, поясню подробнее

1. Реанимация конкурса связана с тем обстоятельством, что (есть основания это предполагать), отдельные резиденты СЛ неправильно считают эквити и достоверно известно, что отдельные терминалы неправильно считают эквити (правда, при работе лимитными ордерами на малом таймфрейме). Так что потренироваться всегда стоит

2. Задача простая в том случае, если знать, как ее решать. Ну т.е. при правильной постановке решение очевидно. К сожалению, обсуждения предыдущих мыслей о конкурсе позволяет предположить, что правильная постановка comminty неизвестна. К примеру — оптимальный прогноз будущего приращения цены — это неправильная постановка. Тем более позитивным может быть обсуждение правильного решения, если оно, конечно, будет найдено.

3. Я эту и аналогичные задачи решил давно, так что рыночная цена или нет — мне все равно. Я просто развлекаюсь и пытаюсь привлечь интерес к правильной постановке задачи.

С уважением
avatar
Мальчик Buybuy, ну ОК. Выскажу своё видение вопроса.

1. «Достоверно известно, что отдельные терминалы неправильно считают эквити» как координируется с «так что потренироваться всегда стоит»? Резиденты СЛ откажутся от терминалов?

2. Можно предположить, что резиденты СЛ не бросятся массово выводить вашу знаменитую формулу. А будут брутфорсить или, в лучшем случае, монтекарлить.

3. Сколько времени и сил ушло на вывод вашей формулы?

4. «К примеру — оптимальный прогноз будущего приращения цены — это неправильная постановка.» Это тема отдельного дискуссионного поста. По крайней мере, это утверждение конфликтует с современными представлениями по данному вопросу.

5. Скажите честно, хотите проверить на оптимальность найденное решение? ))
avatar
Иван Портной, #многобукофф

Давайте по порядку
1. Не надо отказываться от терминалов. Но надо отдавать себе отчет, что многие (большинство) известных анализаторов и оптимизаторов стратегий косячат на малых таймфреймах при работе лимитниками в пользу клиента. Это надо иметь в виду, чтобы потом не удивляться, когда реальная торговля окажется хуже симулированной.
2. Во многих задачах линейные индикаторы начинают показывать устойчивый плюс при длине от 300. Брутфорсить или монтекарлить даже 20-30-40 коэффициентов задача неподъемная (без квантового компьютера), так что формулу выводить придется. Будут делать это резиденты СЛ или нет — это их личное дело.
3. Конкретно этой — 1 вечер. С лимитками все сильно сложнее...
4. Я в этом уверен и могу это доказать. Но не хочу никого убеждать и публиковать отдельный пост на эту тему. В комментариях к другим постам это утверждение не вызвало ни доверия, ни интереса. Надеюсь, при обсуждении результатов победителя конкурса (если он состоится) будет объяснено, почему оптимальный прогноз будущего приращения цены приводит к весьма унылым результатам на долгосроке. Ну или по-другому — среди приверженцев оптимального прогноза будущего приращения цены победителей не будет точно.
5. Не хочу. Оптимальное решение задачи — это решение системы из нескольких тысяч (или десятков тысяч) неравенств. Это задача полиномиальной сложности и решать ее совершенно лениво. Я решаю субоптимальную задачу, строя большие СЛАУ. Это значительно быстрее, а расхождение с идеалом не превышает пары процентов.

Как-то так
Просто ищу единомышленников, способных решать сложные рыночные задачи

С уважением
avatar
Мальчик Buybuy, 
Среди приверженцев оптимального прогноза будущего приращения цены победителей не будет точно.
Что-то я стал переживать за судьбу этого конкурса ;).
avatar
Иван Портной, да не переживайте Вы так, рынок нас всех переживет )))

Есть еще момент, к которому я хочу привлечь внимание community. Но он весьма тонкий, на пальцах его не объяснить, описывать долго и муторно — оптимально самому повозиться с котировками.

Если очень упрощенно — все котировки делятся на индикативные (Reuters, Bloomberg) и реальные (LMAX, CME, MOEX etc.). С индикативными все обстоит просто замечательно — и задача прогноза будущего приращения цены решается легко, и оптимизация эквити и т.д. С реальными все очень плохо.

Примерно это можно описать так (даже графически и формулами) — есть идеальная модель поведения цены актива и есть реальная на данной конкретной торговой площадке. Реальная модель очень корява и требуется подстройка идеального торгового алгоритма под артефакты конкретной торговой площадки.

Почему это так — мне неведомо. Но лично я считаю, что простые модели (которые я обнаружил еще в 1999), были переоткрыты еще массой людей, так что эта неэффективность была быстро вычерпана. Следствием такого вычерпывания и/или арбитража и стала означенная корявость.

Поэтому в качестве данных для конкурса и выбран EURUSD от LMAX Global.

Если мы закончим этот конкурс и перейдем к следующему (оптимальная эквити при торговле лимитными ордерами), я буду искренне рад, если участникам удастся найти хотя бы один линейный индикатор, просто работающий в плюс (они есть на самом деле, но их очень мало, в смысле, что они образуют множество меры ноль).

С уважением
avatar
Мальчик Buybuy, вот я чувствовал, что конкурс не просто так )).
Есть еще момент, к которому я хочу привлечь внимание community. Но он весьма тонкий, на пальцах его не объяснить.

Ну раз пошла такая пьянка, расскажу и я историю. В первой половине нулевых форекс-канторы появлялись как грибы. Вот одна канторка среди инструментов предложила к торговле CFD на фьючерс РТС. Но сдуру транслировала не фьючерс, а сам индекс РТС. Народ не успевал шить мешки для денег. Канторка, разумеется, начала терять деньги, быстро исправила ошибку и начала транслировать именно фьючерс. И заработки у трейдеров исчезли.
avatar
Иван Портной, нет, это не подводная часть конкурса

Просто действительно на определенных массивах котировок (не сильно испорченных действительностью) все задачи решаются проще. Но:
1. К крипте это уже не относится
2. К GAZP и SBER это уже не относится
3. К RTSI, кстати, до сих пор относится )))

Более сложная задачка всегда лучше, чем более простая
1. Рынки продолжают меняться
2. Более сложная задача позволяет чему-то научиться)

Вистуете?

С уважением
avatar
Мальчик Buybuy, 
Вистуете?
Как минимум буду с живым интересом наблюдать за конкурсом.

Я тут полистал архивы. За вывод вот этой формулы:
Drift(t) = (Close(t)-Close(t-1)) * (Alpha(t)-Beta(t))
бюджет конкурса был 50 000 р. Хотите сказать, что формула эквити при торговле рыночными ордерами по сигналам линейного оператора в 5 раз проще?
avatar
Иван Портной, в десять )))

С уважением

P.S. Ну и та задачка реально была сложная. Во всяком случае когда я решал ее, я построил точную формулу для лимитной эквити (п@#дец какая громоздкая) и честно выделил свободный член (не зависящий от значений индикатора). А тут талантливый noname предложил изящное решение в лоб. Ну и честно получил свой полтос.
avatar
Мальчик Buybuy, 
Данные — реальные котировки EURUSD. Минутки. Close. Источник — LMAX Global.
Кстати, есть одна тонкость. Сигнал оператора известен в момент времени Close(t). А входим в позицию в момент времени Open(t+1). Close(t)=Open(t+1) не всегда, особенно на мелких таймфреймах. Пренебрегаем?
avatar
Иван Портной, да, пренебрегаем

В маркетной версии исполнение считается мгновенным
В лимитной (если мы дойдем до этого конкурса) — нет
Ну и понятно, что для немгновенного исполнения нам потребуется весь массив HLC, а не только Close.
Open, кстати, не нужен — его использование в расчетах уже предполагает возможность мгновенного исполнения. В этом и косячат традиционные анализаторы и оптимизаторы. Мой любимый TSLab — не исключение )))

С уважением
avatar
Мальчик Buybuy, 
Open, кстати, не нужен — его использование в расчетах уже предполагает возможность мгновенного исполнения. В этом и косячат традиционные анализаторы и оптимизаторы. Мой любимый TSLab — не исключение )))
Почему Open не нужен? Мгновенное исполнение это же абстракция. Реальное исполнение ближе к ценам Open.
avatar
Иван Портной, я писал про это в топике про конкурс за 50 тыр

Освежите, плз, если нетрудно
Для исполнения лимитного ордера важен не уровень Open, а расхождение High или Low минимум на 1 прайсстеп с ценой ордера (в зависимости от типа ордера — покупка или продажа).

С уважением
avatar
Мальчик Buybuy, 
Освежите, плз, если нетрудно
Для исполнения лимитного ордера важен не уровень Open.
Речь шла про рыночное исполнение. 
avatar
Мальчик Buybuy, зачем Вы устраиваете эти конкурсы, финансируете их крупными призовым? Где Ваш «интерес-трейд»?
Вроде бы все тут собрались «зарабатывать» деньги, а не сорить ими во все стороны:))
ПС: вообще зоологии настоятельно не рекомендуют подкармливать уличных голубей, они начинают воспринимать благодетеля источником пищи и в принципе могут заклевать насмерть с голодухи!
avatar
bozon, поясню с удовольствием

Для постижения таинства рынка требуется определенное знание математики. И это далеко не всегда ТВиМС (в моих исследованиях занимает примерно 10%), но функциональный анализ, вариационное исчисление и некоторые совсем сложные плюшки (бесконечные матрицы, бесконечные СЛАУ, бесконечные системы неравенств, но не в формате гильбертова пространства, в-общем все, что выпало из общепризанной сферы исследований после прихода в ФункАн очень уважаемого мною Давида Гильберта).

Заставить людей подучить математику невозможно. Просто открыть дискуссионную тему, требующую вычислений и включения мозгов — без шанса, IMHO. Конкурс — это уже некий позитив.

Так что я просто трачу малую, весьма малую долю заработанных на рынке денег на то, чтобы мотивировать способных людей расширить свой математический бэкграунд. Ибо без него стабильного успеха на рынке достичь невозможно.

С уважением
avatar
Мальчик Buybuy, может дадите список литературы по этим сложностям, только с переводом каждого сверх математического иероглифа?)) Мне такие почему-то не встречались.
avatar
bozon, не получится

У каждого своя точка зрения и свой путь
И не факт, что мой путь единственно правильный

Свои теории я сам строил руками. Когда мне не хватало информации — я находил ее не в книгах, а в журнальных статьях. Не на русском. Про бесконечные СЛАУ я нашел шикарную статью 1949 года (интернет знает все), которая мотивировала меня минимум на полгода успешных вычислений. Правда, впоследствии вышла книга разлива 2015 года (еще более полезная, но гораздо более сложная).

Я считаю, что лучше формат конкурса. Надеюсь, участники не будут полными гондонами и не станут скрывать свои решения, как это делаю я ))) В процессе обсуждения мы как раз и придем ко всей требуемой математике.

С уважением

P.S. Если Вы поищете в моих старых топиках — найдете задачку, которую быстро решил уважаемый А.Г. Там было про дуальность цен актива и эквити ТС. Это в чистом виде функциональный анализ. Никакой теорией вероятностей там и не пахнет…
avatar
Мальчик Buybuy, 
 которая мотивировала меня минимум на полгода успешных вычислений.
Ну вот, а говорите, что на формулу потратили один вечер ). Нет, конечно верю, что запись самой формулы уложилась за вечер. А перед этим годы успешных вычислений :).
avatar
Иван Портной, не не не

Эти вычисления были вообще не про эквити, а про разработку аналога разложения Уолда для рыночных цен. Там действительно возникают бесконечные системы линейных уравнений. При этом в формате гильбертова пространства задача не решается — операторы не являются ни ограниченными, ни компактными, вообще неправильные ))) Оказалось, что теория решения «неправильных» бесконечных СЛАУ в действительности равносильна теории продолжения аналитических функций. Я был сильно удивлен...

С уважением

P.S. А так я много чего умею. Я и крестиком вышивать умею )))
avatar
Мальчик Buybuy, уверен, что даже если Вы опубликуете эту свою формулу здесь, никто не поймёт её содержимое. А если Вы начнёте её объяснять «на пальцах», Вас назовут еретиком и мысленно отправят на суд инквизиции:))
avatar
bozon, бинго!

Но если ее опубликую не я, а простой человек участник конкурса, то ему поверят гораздо больше, чем мне.
Ну или пидо@#сить будут его, а не меня )))

Так что глобальный план вроде как верен )))

С уважением
avatar
Мальчик Buybuy, :)))
avatar
Мальчик Buybuy, 
Надеюсь, участники не будут плохими людьми и не станут скрывать свои решения, как это делаю я )))

Но если ее опубликую не я, а простой человек участник конкурса, то ему поверят гораздо больше, чем мне.

Так что глобальный план вроде как верен )))

Глобальный план абсолютно неверен! Если формула граальна, то после публикации она перестанет работать ровно так, как уже обсуждалось выше. Если формула неграальна, то не поверят ни автору, ни «простому человеку участнику».
avatar
Иван Портной, да не Граальна она!

Это маленький кирпичик в фундаменте большого здания.
Если его вытащить — здание развалится.
Но, чтобы построить здание — нужно много таких кирпичиков )))

С уважением
avatar
Мальчик Buybuy, если вам невозможно, это еще не означает, что всем невозможно)
avatar
robomakerr, само собой

Но некоторые ограничения (в формате теорем) все же можно получить.
И (если доказательство было верным) они будут работать для всех

С уважением
avatar
Мальчик Buybuy, я о чем хотел сказать.
У вас никогда не закрадывалось подозрение, что рынок, возможно, устроен сильно проще, чем «бесконечные системы линейных уравнений в гильбертовом пространстве»?)
avatar
robomakerr, Вы знали! Вы знали!

Конечно закрадывались. Я почти в этом уверен.

Просто сам решаю задачу разработки ТС, которые работают на всех активах без исключения. И это требует выявления неких стандартных закономерностей и их обработки. Без сложного матаппарата я это делать не умею. И думаю, что в таком разрезе простых решений нет.

С уважением

P.S. Цитата выдернута из контекста. В моем случае аппарат гильбертовых пространств не работает. С ним все было бы сильно проще.
avatar
Мальчик Buybuy, 
решаю задачу разработки ТС, которые работают на всех активах без исключения.

Для тренировки знаний? или чтобы заработать на покушать?)
avatar
robomakerr, не, только для заработать

На покушать давно хватает вроде

С уважением

P.S. Ну т.е. неэффективность, работающая только на Сбере и по четвергам, может так же бесследно исчезнуть, как и возникла. Неэффективность, работающая на большинстве рынков, никуда просто так не денется. Наверное. Мне так кажется.
avatar
Мальчик Buybuy, мой опыт говорит такое:
Неэффективности класса «Сбер по четвергам» часто имеют достаточно понятную «физику», поэтому можно заранее понимать, когда они исчезнут. А исчезают они редко, и неэффективностей таких достаточно много. И средняя сделка у них достаточно большая, чтобы не особо париться об издержках.

А универсальная для всех рынков неэффективность, во-первых одна, а во вторых средняя сделка у неё лежит под уровнем спреда, и чтоб хотя бы отбить издержки, надо еще постараться. Либо искать спецброкера со спецусловиями)

Ну впрочем, у каждого свой путь)
avatar
robomakerr, всегда приятно пообщаться с умным человеком )))

Вы абсолютно правы. Доход на сделку на баре для универсальных алго составляет в среднем чуть больше половины спрэда. Поэтому впрямую их использовать невозможно. Разумный следующий шаг — переход к системам, работающим строго лимитниками.

К сожалению, вселенная лимитных ордеров устроена очень и очень сложно (я уже чуть больше года обещаю опубликовать развернутый пост на эту тему, но лень пока побеждает). К счастью, и в этой вселенной можно найти универсальные эффективные алго (хотя вычисления становятся устрашающе сложными...).

С уважением

P.S. Про то, что универсальная эффективность одна — это трэш, конечно. Однако, стоит отметить, что каждая такая (найденная) эффективность дает массу информации касательно устройства рынков
avatar
Мальчик Buybuy, 
Разумный следующий шаг — переход к системам, работающим строго лимитниками.

Ну, у меня, например, этот следующий шаг — доработка алгоритма (фильтрация входов).

avatar
Мальчик Buybuy, и кстати, можете ли подтвердить, что «LMAX не терпит toxic»?
smart-lab.ru/blog/742502.php#comment13276450

avatar
robomakerr, могу

Лично общался с комплаенс, и не один раз
К счастью, мои алго не были диагностированы как токсик

С уважением
avatar
robomakerr, могу

Лично общался с комплаенс, и не один раз
К счастью, мои алго не были диагностированы как токсик

С уважением
avatar
Мальчик Buybuy, 
мои алго не были диагностированы как токсик

Мне кажется, это возможно только единственным способом — торговля у брокера в ноль, плюс рибейты какие-нибудь от третьих лиц.
avatar
robomakerr, ну не так на самом деле

Классический токсик у LMAX — когда ордер выходит  в плюс сразу после выставления.
У меня 22 ордера на бота, 11 ботов — всего не  более 250 ордеров в сутки. Зафилливаются небыстро, в плюс тоже не все выходят.
Поэтому и претензий ко мне нет.

С уважением

P.S. Рибейты — это крипта, NYSE и NASDAQ. На форексе мне они неизвестны. Ну т.е. они есть, но как скидка с комиссии, а это не рибейт на самом деле.
avatar
Мальчик Buybuy, 
Классический токсик у LMAX — когда ордер выходит  в плюс сразу после выставления.

А смысл какой в этом определении? сделка же может в итоге и в минус закрыться.
Мне всегда казалось, что токсик определяется скоростью отъема денег у брокера)
avatar
robomakerr, Вероятно показывает, что трейдер знает больше чем LMAX и поэтому сразу в плюс выходит. Анализом почему так происходит, скорее всего, никто заниматься не хочет и просто банят или переводят на флоу с другим спредом)
avatar
Мальчик Buybuy, хмм. «К примеру — оптимальный прогноз будущего приращения цены — это неправильная постановка». Но вы же сами сформулировали именно такую постановку задачи. Вот — «Если мы захотим максимизировать рост эквити — у нас есть 2 варианта:
1. (классическая максимизация) — ищем минимум summ((d(i) — summ(a(j)*d(n-j-1))))^2)». То, что вы написали, и является оптимальным приращением. Вы же сами себе противоречите. Или нет?
avatar
Тоже интересно.
avatar
Ниче не понял… чо делать-то надо?.. объясните пролетариату!))
avatar
$100, Подтвердить интерес. Если наберётся достаточное количество желающих, будет конкурс.
avatar
За 10k$ готов поучаствовать в конкурсе на нелинейный индикатор)
avatar
robomakerr, ну это не слишком интересно

Т.к. оптимальные индикаторы до порядка 2 включительно мне (предположительно) известны, а более высокие порядки и не нужны.

Могу подумать о формате челленджа — оба ставим по $10k, победитель забирает все)

С уважением
avatar
Мальчик Buybuy, челлендж неинтересно.
Я думал на халяву подзаработать)

p.s. а откуда вам известно, что они оптимальные?)
avatar
robomakerr, а мне известно, что они не оптимальные

Нахождение оптимального индикатора требует решения системы из нескольких десятков тысяч неравенств. Соответствующий алгоритм полиномиально сложный, но все равно без суперкомпьютера не обойтись.
Я обхожусь приближенной задачей — для нее нужно решать системы линейных уравнений, а это можно быстро делать почти в любом количестве — хватало бы памяти.
И вроде умею доказывать, что погрешность в итоговой эквити не превысит 2-3%.

С уважением
avatar
 Кстати, как с проскальзываниями в LMAX?
avatar
robomakerr, от объема зависит

Оч. маленькое, меня устраивает

С уважением
avatar

теги блога Мальчик buybuy

....все тэги



UPDONW
Новый дизайн