<HELP> for explanation

Блог им. a77

Тестирование торговых систем бессмысленно ?

Давно хотел прокомментировать пост Артема Крамина (http://smart-lab.ru/profile/kramin/) по-поводу бесполезности тестирования стратегий на исторических данных.
 
smart-lab.ru/blog/117052.php
 
Сейчас еще раз зашел, перечел, в том числе все комментарии. Очень много слов, и все — не по делу. Это я про комментарии. А выводы статьи Крамина представляются просто ошибочными. Итак, вот несколько ключевых утверждений и моих комментариев к ним:
«Все ваше тестирование на исторических данных абсолютно бесполезно! Любые результаты полученных на основе прогона системы не значат ничего, они являются всего лишь следствием случайности»

 
Этим вы отрицаете ВСЯКУЮ возможность предсказывать поведение цены на основе принципов ТА. На самом деле ТА работает, но понимать его выводы следует исключительно как вероятностные.
 
«Дисперсия приводит ваши результаты из вида: «На основе исторических данных, при реальном использовании система дает за год 10.000 пп. прибыли», в вид: «На основе исторических данных, при реальном использовании система дает за год 10.000 пп. плюс/минус 15.000 пп. прибыли».

 
Вполне возможно, и это нормально для любой системы, основанной на статистике. И еще, правильнее было бы сформулировать это таким образом:
На основе исторических данных, при реальном использовании система дает за год В СРЕДНЕМ 10.000 пп. плюс/минус 15.000 пп. прибыли. То есть она может дать и 100000.
Следует также отметить, что даже для системы с матожиданием 10000 и дисперсией 15000 абсолютное большинство значений положительно, и, следовательно, на большом ряде реализаций даст положительный результат.
 
«Вы тестируете систему на исторических данных. Получаете результат +10.000 пп. прибыли. Но в реальности это означает, что запустив ее в следующем году, вы можете получить, как 25.000 пп. прибыли, так и 5.000 пп. Убытков!»
 
Вполне вероятно, это нормально.
 
«А теперь представьте себе, что вы тестировали систему. Получили результат в 5.000 пп. убытка, и отправили ее в корзину. Но это на самом деле, могла быть та же самая система, которая давала на других данных 10.000 пп. Прибыли!»
 
Если он дала убыток на большом массиве исторических данных, а не на одной серии, то ее стоит отправить в корзину.
 
А теперь кратко суть. Чудес не бывает. Если
1) ваша стратегия действительно содержит «мини-грааль», то есть нечто, ухватывающее скрытые закономерности поведения цены
2) тестирование на ОЧЕНЬ большом ряде исторических данных дает положительный результат
То: с большой ВЕРОЯТНОСТЬЮ эта стратегия даст положительный результат и на реальном счете.
 
И все. И больше ничего. Причем особенно важно иметь ввиду, что последнее утверждение носит вероятностный характер. Ничего не гарантировано, вы можете получить и убыток. И даже не один раз.
 
Еще раз, все что можно утверждать, это то, что стратегия, показавшая положительный результат на ОЧЕНЬ большой серии исторических данных, с большой ВЕРОЯТНОСТЬЮ покажет положительный результат на БОЛЬШОЙ серии реальных испытаний.
 
То есть, возможен (хоть и маловероятен) и такой вариант, что сначала на достаточно значительном отрезке времени стратегия будет показывать отрицательный результат, но впоследствии все-таки выведет результат в плюс.
 
 

я ввобще не тестирую и у меня нет никакой системы
avatar

SHCHUTUSHCHA

SHCHUTUSHCHA, Ну Вы у нас вообще уникум (я серьезно), Вас аршином общим не измерить. Хоть это (торговля совсем без системы) и не укладывается в мое понимание.
if then-«с большой ВЕРОЯТНОСТЬЮ эта стратегия даст положительный результат и на реальном счете.»
Позволю не согласиться с Вами… Чуток всё хитрее и сложнее…
Но всё равно это более разумный путь…
«положительный результат на ОЧЕНЬ большой серии исторических данных»- это сколько??
avatar

alt

alt, Да что тут хитрого-то? Простая формализация аксиомы ТА о повторяемости рынка. Естественно в вероятностной форме.
Понятия ОЧЕНЬ большой и т.п. в данном случае вторичны. Ясно, что чем больше, тем лучше. На практике нужно уточнять эти понятия с целью получения конкретных оценок прибыльности. Скажем стратегия, обладающая прибыльностью P при тестировании на истории длиной X, с вероятностью p покажет эту прибыльность на реальном счете.
Hedgehog, БРАВО!
avatar

resa

resa, Есть выборка в 800 человек..есть результат опроса.
Те же 800 человек через 0,5-1-3-5-7 лет.
Разница?
Выборка в 140 миллионов более достоверна, но не на длительном промежутке.

Хотя того же Стьюдента никто не отменял, вопрос всего лишь в том, какие ряды анализировали ПРОШЛОГО.

Простая статистика не умеет ПЛАНИРОВАТЬ будущий результат с вероятностью выше анализа. А это и ключевой момент.
Анализ динамрядом дает чуть более, но несущественно.
avatar

resa

resa, И тут же вопрос: что означает в таком понятии как «менеджмент» (в широком случае этого слова, но применительно к этому ресурсу) слово «ПРОГНОЗ»?
avatar

resa

resa, Думаю, это не совсем о том. Нас ведь не интересует, где будет рынок через 3 года. Точность предсказания быстро убывает с ростом интервала и чем длиннее этот интервал, тем больше непредсказуемых вмешательств.

Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.

Залогиниться

Зарегистрироваться
....все тэги
Регистрация
UP