Блог им. TTrade

Меморандум об историческом тестировании

    • 02 декабря 2016, 11:07
    • |
    • TT
  • Еще
Меморандум об историческом тестировании

Нет никакого смысла настраивать (оптимизировать) торговую тактику при помощи тестирования на исторических данных. На коротких тестовых периодах единичные сильные движения, которые возможно вообще никогда больше не повторятся, существенно искажают выводы. В свою очередь результаты, полученые на длительных исторических периодах, если и будут оптимальны, то только на длительной дистанции, что совершенно не гарантирует их актуальность в ближайшем будущем.
★1

история повторяется вообще, в принципе, и почему она не может повторятся на графике?

люди то не меняются, желания не меняются  

avatar

Igr

Igr, Вот именно, что история повторяется «вообще, в принципе». Но на практике, конкретно сейчас, она не может сказать лонг или шорт (фиксируем профит или даем течь, ставим далекий стоп или близкий и т.д.). Если случится рост, то повторится одна история, если падение, то другая.

Если исследовать короткие промежутки, то маловероятно что в будущем случится такая же история. Если исследовать длительные, то маловероятно, что такая же история случится именно сейчас.
avatar

TT

Разумно разбить крупный период на много некрупных и изучать серию результатов.
avatar

PSH

PSH, Вопрос как оценивать эту серию. Если отбросить экстремальные выносы, что разумно, то можно лишить себя удовольствия, пусть хотя бы случайно, заработать хороший профит.
avatar

TT

А оценкой Вы себя экстремального профита не лишите. Он просто будет приятной незапланированной неожиданностью, если случится. На истории-то от экстремальных профитов какое удовольствие, пусть будет, лишь бы экстремальных просадок не случалось, с ними надо разбираться внимательно.
avatar

PSH

PSH, Мне кажется, что просадку вообще невозможно контролировать посредством торговой тактики. Она должна быть ограничена рабочими объемами, торговыми лимитами и т.д.
avatar

TT

TT, любой гэп на открытии тут с Вами поспорит :)
avatar

PSH

PSH, Я думаю, что нужно либо иметь сайз, которому будут некритичны утренние гепы, либо не переносить позицию через ночь. :)
avatar

TT

TT, Уважаемый, как Вы себе это видите на практике? Сайз, которому будут некритичны утренние гэпы, он какой? Если Вы ограничиваете разговор исключительно внутридневной безмаржинальной торговлей — дело Ваше, конечно, лично мне казалось, что тема несколько шире.
К тому же, не имеет никакого значения, «критичен» (что это значит?) утренний гэп или еще что-то или «некритичен». В любом случае, экстремальные просадки на тестировании (экстремальные следует понимать в смысле «нетипично большие») будут в любом случае, это следует из кривой нормального распределения.
avatar

PSH

PSH, Я же написал либо, либо. Т.е. безмаржинально (маломаржинально) пересиживаем геп или внутридневно его не торгуем вообще.
avatar

TT

PSH, Вообще-то нормальное распределение описывает случайные величины. Я не хотел бы торговать систему, в которой просадка случайна.
avatar

TT

TT, вы торгуете систему, у которой просадка не случайная величина, а константа, высчитанная без погрешностей с точностью до 10000000 знака после запятой? :)
avatar

SECRET

SECRET, Нет, ну погрешность, конечно, какая-то есть… :) Тут нужно прояснить, что же имеется ввиду под просадкой. Если экстремальная просадка- это разовый крупный убыток, мне показалось, что об этом идет речь, то случайность тут минимальна, т.к. есть стоп. Если же просадка- это серия убытков, то экстремальная просадка вообще означает конец стратегии.
avatar

TT

TT, Вы пытаетесь «торговать» инструменты, приращения которых (что есть прибыли и убытки) которых квазислучайны (это можно легко проверить, просто продифференцировав ряд котировок по времени). Соответственно, ваши прибыль / убыток на сделку также будут быть близки к гауссиане (Вы должны были увидеть это в любом тестере, запустив его). Результат вашей торговли будет представлять собой также квазислучайный процесс с некоторым положительным (в хорошем для Вас случае) матожиданием и некоторой дисперсией. Чем ниже дисперсия — тем для Вас лучше, но нулевой сделать ее не получится.
avatar

PSH

PSH, Приращения цен случайны, не спорю. Но прибыль/убытки… В этом и заключается задача трейдинга, чтобы они были не так случайны, как приращения. Иначе откуда возьмется положительное матожидание?
avatar

TT

TT, Вам бы теорвер освежить :)
Если процесс случайный, это, как бэ, никак не запрещает ему иметь любое отличное от нуля МО :)
avatar

PSH

PSH, Было бы что освежать. Мы на разных языках разговариваем. Для меня случайность — это то, что с вероятностью 0.5. А матожидание — это скорее ожидаемая полезность. Ниже уже обсудили.
avatar

TT

PSH, Критичен — не критичен, имеется ввиду, что геп не сможет нанести фатального ущерба вашему счету, будет в пределах рисков, которые вы готовы брать на себя.
avatar

TT

PSH, Если не говорить о скорострельных алго, которые на ночь поз не оставляют, то риск я бы оценивал исходя из двух разных идей.
1. Риск, достигнутый системами на историческом тестировании с поправкой на переоптимизацию. Ну, типа махДД, если этот параметр не оптимизировался.
2. Риск как некий % от совокупной открытой позиции на ночь. 
В итоге по моим расчетам получается, что торговать, скажем, на ФОРТС большое плечо нельзя! Под плечом я понимаю отношение номинала открытой позиции к обеспечению. Ни в коем случае не ГО. 
3. Следовательно, существенную долю портфеля должен составлять безриск, например ОФЗ. Существенная, имхо, это от 30% до 70%.
avatar

SergeyJu

Ну да, вы правы. И тысячи трейдеров, которые зарабатывают благодаря тому, что оптимизировали свою стратегию на исторических данных вам рукоплещут :D
avatar

SECRET

SECRET, Так уж и тысячи… :)
avatar

TT

SECRET, +1
avatar

Чёрный кот

Тестирование на истории — это не только попытка спрогнозировать прибыль и просадку.
А также, например, возможность определить среднюю сделку, которая сама по себе отдельный важный показатель, хотя и связанный с прибылью.
Александр Акулов, Вопрос не в том, что мы можем узнать в результате теста, вопрос в том, что потом с этим делать? Вот определили вы среднюю сделку. Если выборка у вас маленькая, то в будущем средняя сделка будет другая. Если выборка большая, то средняя сделка может и будет такая же в далеком будущем, но в ближайшем будущем она снова будет совсем другая.
avatar

TT

TT, речь не о том. Если средняя сделка будет маленькая, то такую систему вообще торговать не стоит. Так вы сможете отсеить треть сливных систем, которые кажутся прибыльными. Треть — это уже неплохо)
Александр Акулов, В этом смысле полностью согласен. Просто изначально я имел ввиду оптимизацию тактики, а не ее выбор.
avatar

TT

Пост полный бред!  Как тогда проверить стратегию?

Тренды повторяются, это можно увидеть просто взглянув на график.
avatar

Чёрный кот

Чёрный кот, Зевая… Единственное, что повторяется в трендах, так это то, что они внезапно заканчиваются.
avatar

TT

TT, от этого спасает трейлинг стоп) 

avatar

Чёрный кот

Историческое тестирование дает нам лишь будущее распределение доходностей (в том числе и с отрицательным «хвостом») и рисков. БОльшего от него ждать не стоит. А какой исход этого распределения реализуется на следующем шаге конечно неизвестно, чтобы получить близкое к средней, надо сделать много шагов.
avatar

А. Г.

А. Г., Слишком много шагов для меня…
avatar

TT

Вполне справедливо, если добавить в текст топика оговорку: при подходе к рынку как к шуму. Как только вы попытаетесь вычленить из «случайного блуждания толпы» поведение отдельных людей или групп — ситуация может измениться. А. Г., как понимаю, тоже упорно игнорирует психологические особенности людей.
avatar

старый трейдер

старый трейдер, Текст относится к торговой тактике, что в моем понимании есть определение точек входа и выхода в условиях краткосрочного рыночного шума. Стратегия же, на мой взгляд, т.е. направление тренда, обязательно должна определяться с учетом внешних (по отношению к цене) факторов.
avatar

TT

TT, «рынок совершенно случаен для абсолютно неосведомленного наблюдателя» smart-lab.ru/blog/255333.php
рынок совершенно случаен для абсолютно неосведомленного наблюдателя
avatar

старый трейдер

старый трейдер, Да. Когда наблюдатель неосведомлен не абсолютно, а имеет какую-то минимальную осведомленность, то рынок для него уже как бы не совершенно случаен, а несколько определен. Но для того, чтобы эту минимальную осведомленность реализовать в профит, необходимо минимизировать воздействие оставшейся случайности, ибо что толку от правильного прогноза, если у вас не хватило маржи или выбило стоп. Для этого необходимо как-то подстраиваться к этой случайности и искать оптимальную торговую тактику. Так вот я и зафиксировал для себя, что искать эту тактику посредством исторической оптимизации не имеет смысла, она не дает ответа на вопрос как торговать свой прогноз.

Что касается обсуждения по ссылке, то как я понимаю, уважаемый А.Г. рассматривает вопрос с чисто математической точки зрения, считая случайным все, что содержит в себе хоть малейший элемент случайности. Ничего не могу возразить по этому поводу. В таком случае рынок не может быть случаен в разной степени, полностью или частично.
avatar

TT

TT, «Подстраиваться к случайности» невозможно, на то она и случайность. Возможно лишь прожить достаточное количество итераций, чтобы сумма результатов прижималась к МО.

Плюс к тому, рынок является квазислучайным, случайным он не является. Это, опять же, легко проверить, накинув гауссиану на распределение приращений — распределение приращений явно не гауссово, хоть и немного похоже :).
avatar

PSH

«Когда наблюдатель неосведомлен не абсолютно, а имеет какую-то минимальную осведомленность, то рынок для него уже как бы не совершенно случаен, а несколько определен. Но для того, чтобы эту минимальную осведомленность реализовать в профит, необходимо минимизировать воздействие оставшейся случайности, ибо что толку от правильного прогноза, если у вас не хватило маржи или выбило стоп. Для этого необходимо как-то подстраиваться к этой случайности и искать оптимальную торговую тактику.» — отлично, попробуйте исходить из этого, стараясь не _фиксировать для себя_ ничего, относясь к любым выводам, — как к промежуточным/условным.

Мой комментарии в топике А.Г. — попытка подсказать, что он рассматривает рынок со своей точки зрения, а не с математической.
avatar

старый трейдер

подписал меморандум
avatar

Cristopher Robin

молодцы! все верно :)
avatar

matrix


теги блога TT

....все тэги



2010-2020
UPDONW