Блог им. TTrade

Меморандум об историческом тестировании

    • 02 декабря 2016, 11:07
    • |
    • TT
  • Еще
Меморандум об историческом тестировании

Нет никакого смысла настраивать (оптимизировать) торговую тактику при помощи тестирования на исторических данных. На коротких тестовых периодах единичные сильные движения, которые возможно вообще никогда больше не повторятся, существенно искажают выводы. В свою очередь результаты, полученые на длительных исторических периодах, если и будут оптимальны, то только на длительной дистанции, что совершенно не гарантирует их актуальность в ближайшем будущем.
★1
39 комментариев

история повторяется вообще, в принципе, и почему она не может повторятся на графике?

люди то не меняются, желания не меняются  

avatar
Igr, Вот именно, что история повторяется «вообще, в принципе». Но на практике, конкретно сейчас, она не может сказать лонг или шорт (фиксируем профит или даем течь, ставим далекий стоп или близкий и т.д.). Если случится рост, то повторится одна история, если падение, то другая.

Если исследовать короткие промежутки, то маловероятно что в будущем случится такая же история. Если исследовать длительные, то маловероятно, что такая же история случится именно сейчас.
avatar
Разумно разбить крупный период на много некрупных и изучать серию результатов.
avatar
PSH, Вопрос как оценивать эту серию. Если отбросить экстремальные выносы, что разумно, то можно лишить себя удовольствия, пусть хотя бы случайно, заработать хороший профит.
avatar
А оценкой Вы себя экстремального профита не лишите. Он просто будет приятной незапланированной неожиданностью, если случится. На истории-то от экстремальных профитов какое удовольствие, пусть будет, лишь бы экстремальных просадок не случалось, с ними надо разбираться внимательно.
avatar
PSH, Мне кажется, что просадку вообще невозможно контролировать посредством торговой тактики. Она должна быть ограничена рабочими объемами, торговыми лимитами и т.д.
avatar
TT, любой гэп на открытии тут с Вами поспорит :)
avatar
PSH, Я думаю, что нужно либо иметь сайз, которому будут некритичны утренние гепы, либо не переносить позицию через ночь. :)
avatar
TT, Уважаемый, как Вы себе это видите на практике? Сайз, которому будут некритичны утренние гэпы, он какой? Если Вы ограничиваете разговор исключительно внутридневной безмаржинальной торговлей — дело Ваше, конечно, лично мне казалось, что тема несколько шире.
К тому же, не имеет никакого значения, «критичен» (что это значит?) утренний гэп или еще что-то или «некритичен». В любом случае, экстремальные просадки на тестировании (экстремальные следует понимать в смысле «нетипично большие») будут в любом случае, это следует из кривой нормального распределения.
avatar
PSH, Я же написал либо, либо. Т.е. безмаржинально (маломаржинально) пересиживаем геп или внутридневно его не торгуем вообще.
avatar
PSH, Вообще-то нормальное распределение описывает случайные величины. Я не хотел бы торговать систему, в которой просадка случайна.
avatar
TT, вы торгуете систему, у которой просадка не случайная величина, а константа, высчитанная без погрешностей с точностью до 10000000 знака после запятой? :)
avatar
SECRET, Нет, ну погрешность, конечно, какая-то есть… :) Тут нужно прояснить, что же имеется ввиду под просадкой. Если экстремальная просадка- это разовый крупный убыток, мне показалось, что об этом идет речь, то случайность тут минимальна, т.к. есть стоп. Если же просадка- это серия убытков, то экстремальная просадка вообще означает конец стратегии.
avatar
TT, Вы пытаетесь «торговать» инструменты, приращения которых (что есть прибыли и убытки) которых квазислучайны (это можно легко проверить, просто продифференцировав ряд котировок по времени). Соответственно, ваши прибыль / убыток на сделку также будут быть близки к гауссиане (Вы должны были увидеть это в любом тестере, запустив его). Результат вашей торговли будет представлять собой также квазислучайный процесс с некоторым положительным (в хорошем для Вас случае) матожиданием и некоторой дисперсией. Чем ниже дисперсия — тем для Вас лучше, но нулевой сделать ее не получится.
avatar
PSH, Приращения цен случайны, не спорю. Но прибыль/убытки… В этом и заключается задача трейдинга, чтобы они были не так случайны, как приращения. Иначе откуда возьмется положительное матожидание?
avatar
TT, Вам бы теорвер освежить :)
Если процесс случайный, это, как бэ, никак не запрещает ему иметь любое отличное от нуля МО :)
avatar
PSH, Было бы что освежать. Мы на разных языках разговариваем. Для меня случайность — это то, что с вероятностью 0.5. А матожидание — это скорее ожидаемая полезность. Ниже уже обсудили.
avatar
PSH, Критичен — не критичен, имеется ввиду, что геп не сможет нанести фатального ущерба вашему счету, будет в пределах рисков, которые вы готовы брать на себя.
avatar
PSH, Если не говорить о скорострельных алго, которые на ночь поз не оставляют, то риск я бы оценивал исходя из двух разных идей.
1. Риск, достигнутый системами на историческом тестировании с поправкой на переоптимизацию. Ну, типа махДД, если этот параметр не оптимизировался.
2. Риск как некий % от совокупной открытой позиции на ночь. 
В итоге по моим расчетам получается, что торговать, скажем, на ФОРТС большое плечо нельзя! Под плечом я понимаю отношение номинала открытой позиции к обеспечению. Ни в коем случае не ГО. 
3. Следовательно, существенную долю портфеля должен составлять безриск, например ОФЗ. Существенная, имхо, это от 30% до 70%.
avatar
Ну да, вы правы. И тысячи трейдеров, которые зарабатывают благодаря тому, что оптимизировали свою стратегию на исторических данных вам рукоплещут :D
avatar
SECRET, Так уж и тысячи… :)
avatar
SECRET, +1
avatar
Тестирование на истории — это не только попытка спрогнозировать прибыль и просадку.
А также, например, возможность определить среднюю сделку, которая сама по себе отдельный важный показатель, хотя и связанный с прибылью.
Александр Акулов, Вопрос не в том, что мы можем узнать в результате теста, вопрос в том, что потом с этим делать? Вот определили вы среднюю сделку. Если выборка у вас маленькая, то в будущем средняя сделка будет другая. Если выборка большая, то средняя сделка может и будет такая же в далеком будущем, но в ближайшем будущем она снова будет совсем другая.
avatar
TT, речь не о том. Если средняя сделка будет маленькая, то такую систему вообще торговать не стоит. Так вы сможете отсеить треть сливных систем, которые кажутся прибыльными. Треть — это уже неплохо)
Александр Акулов, В этом смысле полностью согласен. Просто изначально я имел ввиду оптимизацию тактики, а не ее выбор.
avatar
Пост полный бред!  Как тогда проверить стратегию?

Тренды повторяются, это можно увидеть просто взглянув на график.
avatar
Чёрный кот, Зевая… Единственное, что повторяется в трендах, так это то, что они внезапно заканчиваются.
avatar
TT, от этого спасает трейлинг стоп) 

avatar
Историческое тестирование дает нам лишь будущее распределение доходностей (в том числе и с отрицательным «хвостом») и рисков. БОльшего от него ждать не стоит. А какой исход этого распределения реализуется на следующем шаге конечно неизвестно, чтобы получить близкое к средней, надо сделать много шагов.
avatar
А. Г., Слишком много шагов для меня…
avatar
Вполне справедливо, если добавить в текст топика оговорку: при подходе к рынку как к шуму. Как только вы попытаетесь вычленить из «случайного блуждания толпы» поведение отдельных людей или групп — ситуация может измениться. А. Г., как понимаю, тоже упорно игнорирует психологические особенности людей.
avatar
старый трейдер, Текст относится к торговой тактике, что в моем понимании есть определение точек входа и выхода в условиях краткосрочного рыночного шума. Стратегия же, на мой взгляд, т.е. направление тренда, обязательно должна определяться с учетом внешних (по отношению к цене) факторов.
avatar
TT, «рынок совершенно случаен для абсолютно неосведомленного наблюдателя» smart-lab.ru/blog/255333.php
рынок совершенно случаен для абсолютно неосведомленного наблюдателя
avatar
старый трейдер, Да. Когда наблюдатель неосведомлен не абсолютно, а имеет какую-то минимальную осведомленность, то рынок для него уже как бы не совершенно случаен, а несколько определен. Но для того, чтобы эту минимальную осведомленность реализовать в профит, необходимо минимизировать воздействие оставшейся случайности, ибо что толку от правильного прогноза, если у вас не хватило маржи или выбило стоп. Для этого необходимо как-то подстраиваться к этой случайности и искать оптимальную торговую тактику. Так вот я и зафиксировал для себя, что искать эту тактику посредством исторической оптимизации не имеет смысла, она не дает ответа на вопрос как торговать свой прогноз.

Что касается обсуждения по ссылке, то как я понимаю, уважаемый А.Г. рассматривает вопрос с чисто математической точки зрения, считая случайным все, что содержит в себе хоть малейший элемент случайности. Ничего не могу возразить по этому поводу. В таком случае рынок не может быть случаен в разной степени, полностью или частично.
avatar
TT, «Подстраиваться к случайности» невозможно, на то она и случайность. Возможно лишь прожить достаточное количество итераций, чтобы сумма результатов прижималась к МО.

Плюс к тому, рынок является квазислучайным, случайным он не является. Это, опять же, легко проверить, накинув гауссиану на распределение приращений — распределение приращений явно не гауссово, хоть и немного похоже :).
avatar
«Когда наблюдатель неосведомлен не абсолютно, а имеет какую-то минимальную осведомленность, то рынок для него уже как бы не совершенно случаен, а несколько определен. Но для того, чтобы эту минимальную осведомленность реализовать в профит, необходимо минимизировать воздействие оставшейся случайности, ибо что толку от правильного прогноза, если у вас не хватило маржи или выбило стоп. Для этого необходимо как-то подстраиваться к этой случайности и искать оптимальную торговую тактику.» — отлично, попробуйте исходить из этого, стараясь не _фиксировать для себя_ ничего, относясь к любым выводам, — как к промежуточным/условным.

Мой комментарии в топике А.Г. — попытка подсказать, что он рассматривает рынок со своей точки зрения, а не с математической.
avatar
подписал меморандум
avatar
молодцы! все верно :)
avatar

теги блога TT

....все тэги



UPDONW
Новый дизайн