Ловушки тестирования и оптимизации

Fry (Антон), если у вас есть проблемы со сложными алгоритмами, это не значит, что они — зло. Хорошая программа для обработки сложных данных не может быть простой. Посмотрите насколько сложные расчеты прогноза погоды! Для их «алго» требуются суперкомпьютеры, а вы ратуете за упрощение...
Упростить сложное можно только одним способом —
отрезать от него что-то… нужное.

VladMih, я специально расшифровал по пунктам (см пункт 2). Как пример: у меня есть весьма сложный алгоритм (2000 строк кода и 2 конечные формулы с кучей весовых коэффициентов), но на выходе всё просто до одного бита (кроме одного параметра).

Fry (Антон), самообман.
От того, что все сложности не выведены в настройки, а зашиты внутрь (предварительно подогнанные «кучей весовых коэффициентов»), вы ничего не приобретаете, а наоборот — теряете возможность подкорректировать «подгонку» под текущий рынок.

VladMih, да-да. Давайте займёмся предсказыванием движения рынка как погодой.
Ещё суперкомпьютер загрузим, Грефа позавём, пусть расскажет нам про бигдата =)

Fry (Антон), да хоть Кудрина зовите! )))
Только сначала объясните чем современное прогнозирование погоды отличается от алготрейдинга.

VladMih, заказчиками и отношением к делу.

Fry (Антон), ну, разве что...
А по сути разницы в алго не нашлись что сказать? Понимаю )

VladMih, крайне дилетантский подход проводить подобные аналогии. Странно, что Вы этого не понимаете =).
Как пример: вход даже на 1 контракт в топ ликвиднейших мировых инструментов создаёт глубокую обратную реакцию. Рынками манипулируют. Все данные по клиентам сливаются. Кукл существует. Есть куча закономерностей-ловушек, которые очевидны, существуют до момента пока кто-то не начнёт их торговать. Кого-то ловят, сливают. Как только попытки торговать это прекращаются — закономерность возвращается на место. Существует ещё множество глубочайших различий с погодными явлениями. Но в рамках камента никак не поместится этот разговор.

Fry (Антон), а я может дилетантизмом считаю ВАШИ «мюсли».
Хотите вместо доводов кидаться какашками? — Досвидос.

VladMih, кто-то наливает негатив и он раскручивается в ходе дискуссии. Мне кажется в данном случае начинал не я ;)

Fry (Антон), согласен

Replikant_mih, буду говорить конкретно за фьючерсный рынок у амеров (опционный в т.ч.). Наиболее ярко проявляется на CBOE. Впрочем и на CME есть.
Любой вход-выход в рынок порождает ответную реакцию котировок.
Классическая теория эффективных рынков что нам говорит?
Спрос и предложение определяют цену. То есть любая покупка по этой теории должна подталкивать цену вверх, а продажа — вниз. Чем больше объём, тем сильнее должно быть это влияние.
Что мы видим в реальных рыночных котировках?
Всё наоборот для мелких участников рынка (для ритейла интернет-трейдинга). Каждый вход в покупку против ММ вызывает обратную реакцию и цена падает на несколько пунктов. ММ самокотирует себе прибыль. Это движение является чистой воды манипуляцией. ММ-бот так поступает не со всеми. То есть ММ наверняка знает кто входит в рынок. Знает размер счёта, плечо, «точку боли» и т.п. ММ высаживает на стопы или маржин-колы всех слабых. Самый слабый вылетает первым. Самый слабый — это тот, кто больше всего нагрузил депозит. Так рынок и ходит мелкой и крупной рябью. Вы спросите: а как же взаимосвязь всех рыночных инструментов? А очень просто если подумать. Флуктуации на спрэдах между инструментами есть? Вот это и есть те самые манипуляции. Их даже численно можно заметить =)

Fry (Антон), Да ну, теорией заговора какой-то попахивает. Явления наверняка имеют место быть, просто обоснования другие. Например, ММ не знает кто входит, а догадывается — ну обычный алгоритм как любой другой, который вероятностно по паттернам или каким-то другим признакам оценивает силу денег и прочее.

Replikant_mih, возможно. Но тогда у ММ есть вероятность нарваться на инсайдера. Если инсайдер узнает эту особенность бота, то он будет собирать позицию с забросом по одному контрактику, затягивая ММ-бота в ловушку отклонения цены от текущей адекватной. Раз зайдёт, два зайдёт, а потом ка жахнет сотней контрактов =). ММ тогда придётся срочно флетовать это дело где только получится (через все смежные инструменты). В целом будет потеря.

Fry (Антон), Нуу, я думаю у ММ тоже рисков полно, какие-то такие в том числе. Тоже как-то страхуется, как-то борется с. Я не знаю наверняка, да и вообще про работу ММ мало что знаю, просто рассуждаю :)

Replikant_mih, я тоже просто рассуждаю. В поисках истины. Почему так много думаю про работу ММ? Потому что на фьючерсных рынках роль ММ ключевая. Это их поляна. Их правила игры.
Ведь как всё это устроено?
ММ существует для того чтобы обслуживать интересы самых крупных участников рынка. Чтобы крупняку не приходилось встречаться лицом к лицу с мелочью. Весь этот геморой с ритейлом ММ берёт на себя. Крупняк открывает свои позиции об ММ всегда на 99% уж точно. Далее задача ММ раскидать всё это дело по мелким контрагентам или найти встречного крупняка (что бывает редко). Это основная работа ради которой существует институт маркетмейкинга. Но для выполнения этой работы ММ предоставляются ключевые привилегии. Используя их ММ создаёт себе доход. Вот тут и открывается поле для «моих фантазий» =)

Fry (Антон), Интересно, есть где-нибудь место, где можно верифицировать все свои домыслы подобные?))

Replikant_mih, разумеется есть! На своём депозите =)

Fry (Антон), )) ну это да)), но это другое, депозит показывает, насколько правильно ты оцениваешь закономерности во внешних проявлениях скрытых вещей. Но твои скрытые домыслы депозит не верифицирует, в смысле можно правильно оценивать закономерности во внешних видимых проявлениях — что позволит зарабатывать — но при этом иметь полностью бредовое представлением о том, почему так происходит.

Replikant_mih, если бредовое представление даёт профит стабильно и позволяет спать спокойно (укрепляет нервную систему), то меня устраивает этот бред. Я буду в него верить всё крепче и крепче пока не обломаюсь. То есть для меня это не вопрос классической науки, а вопрос веры.
Хотя… Квантовая теория тоже не находила подтверждения, но по ней рассчитывали кучу практических вещей почти полвека. Практики пользовались, а теоретики приняли как аксиому =)
Да и в математике сама основа такая — сплошные аксиомы.

К сожалению, достоверно подтвердить мои размышления слишком сложно без супергеройских способностей (невидимость, прохождение сквозь стены, супер зрение и слух =).

Есть, конечно, случаи судебных разбирательств за манипуляции на рынке. Там собираются доказательства. Часто дела выигрываются. Штрафы правда смешные. Система работает.
Например, если не ошибаюсь, то Haim Bodek выиграл-таки дело о манипуляции ММ. Ничего с тех пор не изменилось. Собака лает, караван идёт.

Replikant_mih, как я пробовал это доказать для себя. Пробовал входы по некоторым общим правилам на CME и в кухне ДЦ с таким маленьким счётом, что мои позиции точно не выводятся на рынок. По уму надо было пробовать на демке, но я для себя ставил другие задачи. Так что проверка этих моих предположений была всего лишь побочным эффектом. Вышло так, что себя я убедил. Признаюсь честно, как научное доказательство ну совсем не катит! Даже на уровне школьного исследования так не делают. =) Да, выходит хреновый я искатель истины =(

ves2010, насколько знаком с вашими подходами,  грааль не в методах торговли, а в выборе правильного инструмента для торговли.

VladMih, а как, на ваш взгляд, появляется первый пункт про ТС, основанную на логике проверенного ручн трейдинга? Это что-то случайно? Либо есть либо нет — либо возникло либо не возникло? Или у этого другие корни, например, из каких-то более топорных математических алго?

Sergey Pavlov, вряд ли вы меня поймете, мы «гонщики» из разных «конюшен». Попытаюсь.
Все мои ТС основаны на визуальной оценке графиков, оценке положения цены относительно мувингов и графических разметок + индикаторные сигналы. 
Случайность при 13 летнем стаже Форекса?!...
Случайность — это скорее случайно подобранный математический алгоритм новичка. И таких алго здесь подавляющее большинство.
Не спорю, этот метод имеет право на жизнь, но… именно из этого вытекают все ваши сложности тестирования, к тому же не дающего гарантию, что результаты любого математического теста могут гарантировать хотя бы 50% того, что даст мне соответствие алго-сделок логике трейдинга.

VladMih, вы так ответили, словно я вас в чем-то обвинили или укорил))) Случайность это когда сложилось как сложилось. Это ни плохо, ни хорошо. Если мы не можем точно сказать, по какому алгоритму следовать, чтобы достичь результата, значит мы можем сойтись лишь в том, что это случайность.

Почему один смотрит на всё то, что вы описали и у него ничего не выходит, а у вас за 13 лет всё сложилось удачно? Значит дело в чем-то другом…

Sergey Pavlov, скорей это ВЫ кинулись в обиды.
Вы чистый алго, я чистый ручной трейдер, даже ни одного языка программирования не знаю, колупаюсь в кубиках ТСЛаб. Поторгуйте 13 лет руками на форексе (и ИМЕННО на форексе), тогда вам легче будет понять о чем я написал. 

Причем случайность?
Я её не отрицал! В казино тоже выигрывают!
Но мы же не это обсуждаем!

Причем «дело в чем-то другом»? Я и «другое» не отрицал! НО.
Когда читаю на СЛ про многолетний стаж всех присутствующих подряд, меня дурной смех разбирает — 99% этих «стажеров» продолжают работать на дядю, плюс еще может и бизнес имеют, а трейдинг у них два часа в неделю. Ну и сравнивают свои годы с моими… Умора... 
А 15-17 часов в день без выходных и праздников первые три года не хотите? И сейчас весь день в терминале! Я за неделю набираю их «год»!
Вот и прочувствуйте для начала хотя бы эту разницу.

anatolyutkin, При таком подходе наверно сложно оставаться непредвзятым в ситуации когда танцуешь от данных, построил систему с красивыми показателями и ищешь обоснование в реальном мире — мозг такое умеет делать)) — подгонять обоснование под любые задачи))

Replikant_mih, Да, так и есть. Помогают опыт, интуиция. ЧувствА помогут :) Трейдинг вообще вещь чувственная, имхо. Где нерв, где градус накала и страсти--там и бабло :) 

VladMih,
smart-lab.ru/blog/153193.php
smart-lab.ru/blog/194112.php

anatolyutkin, интересные системы! а есть такие же, но чтоб срабатывали раз в минуту? :)

кстати, как голубой бейджик у Тимофея получить?

ПBМ, Закономерностей много всяких на базарчике :) Тут какое дело. Лично мне в общем-то уже не жалко. Но проблема в том, что любая малоликвидная система, вынесенная на публику, ломается. Человек с тыщью лотов RI решит на пару минуток зайти. А потом выйти. Незаметненько так, а чо. Пичалька будет в общем, такие дела. Поэтому публично я раньше говорил только про системы с условно бесконечной ликвидностью. А сейчас что-то и про них не хочется. 

Бейдж не знаю, мне не говорили :) 

VladMih, :) Гы. Насчет блох я бы так не сказал. На таких вещах большие деньги делаются. Бабло переходит от быстрых к терпеливым--слышали?

Из быстрых? Котирование, например. Опционы берите, котируйте. Кстати, там и скорость особая не нужна, можно не hft даже. Алгоритмы там--да простейшие. Купил дешевле, продал дороже и так много раз. C#, transaq connector--и вперед. Из не hft интрадея--ну что вам сказать. Ну есть они. Давайте этим ограничимся. А то меня коллеги не поймут, бугога. Кстати, вот эта вся быстрая алготема и есть ловля блох имхо, потому что чрезвычайно чувствительна к сайзу. 

VladMih, Да хоть котирование, хоть трейдинг. Хоть как назовите. Главное, чтоб бабло было на счетах, да побольше. Бабло побеждает зло! 

First, переподгоняется не торговая система, а модель, лежащая в её основе. Как бороться с переподгонкой этим математики занимаются а не трейдеры, иди лучше учись

First, явно неробастный лучше не начинать писать даже) SECRET все верно говорит — «опыт и понимание»

wrmngr,  ну по крайней мере то,  что отсеется при делении на две непересекающиеся части точно торговать нельзя. Только сравнивать надо не доходности за весь период. Доходность за длинный период априори неробастна. 

А. Г., как ооочень грубый фильтр конечно подойдет, но при определенном опыте написания торговых моделей совершенно излишний. Главное не забывать, что есть не только параметрическая подгонка. Я склоняюсь к мысли, что устойчивость модели нужно проверять сразу на множестве смежных инструментов без замены структуры и параметров. Так, к примеру, модель разработанная для условной «акции роснефти» должна сносно себя вести и на «газпроме» и на «сбере». Т.е. на подгруппе «Акции РФ»

wrmngr,  совсем необязательно,  что одна система сможет сносно торговать на разных инструментах даже с одного рынка.  Потому что одна акция может  быть трендовой на таймфрейме системы,  а другая контртрендовой. А средние доходности тренда и контртренда на одном таймфрейме либо у оба равны нулю,  либо имеют разные знаки.