21 августа 2013, 23:59
Тестирование торговых систем бессмысленно ?
Давно хотел прокомментировать пост Артема Крамина (http://smart-lab.ru/profile/kramin/) по-поводу бесполезности тестирования стратегий на исторических данных.
smart-lab.ru/blog/117052.php
Сейчас еще раз зашел, перечел, в том числе все комментарии. Очень много слов, и все — не по делу. Это я про комментарии. А выводы статьи Крамина представляются просто ошибочными. Итак, вот несколько ключевых утверждений и моих комментариев к ним:
«Все ваше тестирование на исторических данных абсолютно бесполезно! Любые результаты полученных на основе прогона системы не значат ничего, они являются всего лишь следствием случайности»
Этим вы отрицаете ВСЯКУЮ возможность предсказывать поведение цены на основе принципов ТА. На самом деле ТА работает, но понимать его выводы следует исключительно как вероятностные.
«Дисперсия приводит ваши результаты из вида: «На основе исторических данных, при реальном использовании система дает за год 10.000 пп. прибыли», в вид: «На основе исторических данных, при реальном использовании система дает за год 10.000 пп. плюс/минус 15.000 пп. прибыли».
Вполне возможно, и это нормально для любой системы, основанной на статистике. И еще, правильнее было бы сформулировать это таким образом:
На основе исторических данных, при реальном использовании система дает за год В СРЕДНЕМ 10.000 пп. плюс/минус 15.000 пп. прибыли. То есть она может дать и 100000.
Следует также отметить, что даже для системы с матожиданием 10000 и дисперсией 15000 абсолютное большинство значений положительно, и, следовательно, на большом ряде реализаций даст положительный результат.
«Вы тестируете систему на исторических данных. Получаете результат +10.000 пп. прибыли. Но в реальности это означает, что запустив ее в следующем году, вы можете получить, как 25.000 пп. прибыли, так и 5.000 пп. Убытков!»
Вполне вероятно, это нормально.
«А теперь представьте себе, что вы тестировали систему. Получили результат в 5.000 пп. убытка, и отправили ее в корзину. Но это на самом деле, могла быть та же самая система, которая давала на других данных 10.000 пп. Прибыли!»
Если он дала убыток на большом массиве исторических данных, а не на одной серии, то ее стоит отправить в корзину.
А теперь кратко суть. Чудес не бывает. Если
1) ваша стратегия действительно содержит «мини-грааль», то есть нечто, ухватывающее скрытые закономерности поведения цены
2) тестирование на ОЧЕНЬ большом ряде исторических данных дает положительный результат
То: с большой ВЕРОЯТНОСТЬЮ эта стратегия даст положительный результат и на реальном счете.
И все. И больше ничего. Причем особенно важно иметь ввиду, что последнее утверждение носит вероятностный характер. Ничего не гарантировано, вы можете получить и убыток. И даже не один раз.
Еще раз, все что можно утверждать, это то, что стратегия, показавшая положительный результат на ОЧЕНЬ большой серии исторических данных, с большой ВЕРОЯТНОСТЬЮ покажет положительный результат на БОЛЬШОЙ серии реальных испытаний.
То есть, возможен (хоть и маловероятен) и такой вариант, что сначала на достаточно значительном отрезке времени стратегия будет показывать отрицательный результат, но впоследствии все-таки выведет результат в плюс.
smart-lab.ru/blog/117052.php
Сейчас еще раз зашел, перечел, в том числе все комментарии. Очень много слов, и все — не по делу. Это я про комментарии. А выводы статьи Крамина представляются просто ошибочными. Итак, вот несколько ключевых утверждений и моих комментариев к ним:
«Все ваше тестирование на исторических данных абсолютно бесполезно! Любые результаты полученных на основе прогона системы не значат ничего, они являются всего лишь следствием случайности»
Этим вы отрицаете ВСЯКУЮ возможность предсказывать поведение цены на основе принципов ТА. На самом деле ТА работает, но понимать его выводы следует исключительно как вероятностные.
«Дисперсия приводит ваши результаты из вида: «На основе исторических данных, при реальном использовании система дает за год 10.000 пп. прибыли», в вид: «На основе исторических данных, при реальном использовании система дает за год 10.000 пп. плюс/минус 15.000 пп. прибыли».
Вполне возможно, и это нормально для любой системы, основанной на статистике. И еще, правильнее было бы сформулировать это таким образом:
На основе исторических данных, при реальном использовании система дает за год В СРЕДНЕМ 10.000 пп. плюс/минус 15.000 пп. прибыли. То есть она может дать и 100000.
Следует также отметить, что даже для системы с матожиданием 10000 и дисперсией 15000 абсолютное большинство значений положительно, и, следовательно, на большом ряде реализаций даст положительный результат.
«Вы тестируете систему на исторических данных. Получаете результат +10.000 пп. прибыли. Но в реальности это означает, что запустив ее в следующем году, вы можете получить, как 25.000 пп. прибыли, так и 5.000 пп. Убытков!»
Вполне вероятно, это нормально.
«А теперь представьте себе, что вы тестировали систему. Получили результат в 5.000 пп. убытка, и отправили ее в корзину. Но это на самом деле, могла быть та же самая система, которая давала на других данных 10.000 пп. Прибыли!»
Если он дала убыток на большом массиве исторических данных, а не на одной серии, то ее стоит отправить в корзину.
А теперь кратко суть. Чудес не бывает. Если
1) ваша стратегия действительно содержит «мини-грааль», то есть нечто, ухватывающее скрытые закономерности поведения цены
2) тестирование на ОЧЕНЬ большом ряде исторических данных дает положительный результат
То: с большой ВЕРОЯТНОСТЬЮ эта стратегия даст положительный результат и на реальном счете.
И все. И больше ничего. Причем особенно важно иметь ввиду, что последнее утверждение носит вероятностный характер. Ничего не гарантировано, вы можете получить и убыток. И даже не один раз.
Еще раз, все что можно утверждать, это то, что стратегия, показавшая положительный результат на ОЧЕНЬ большой серии исторических данных, с большой ВЕРОЯТНОСТЬЮ покажет положительный результат на БОЛЬШОЙ серии реальных испытаний.
То есть, возможен (хоть и маловероятен) и такой вариант, что сначала на достаточно значительном отрезке времени стратегия будет показывать отрицательный результат, но впоследствии все-таки выведет результат в плюс.
tu-160,
Вроде как 60 млн.были выплаты за 2022 год?
Но если даже по такой схеме считать и учитывать их стремление к двухразовой выплате в году и постепенного наращивания выплат, то уже в этом г...
Якут Якутяшка, ДА
Признавайтесь, у кого 30000 акций за не дорого по 250?
Дюша Метелкин, в заповедях сказано — НЕ УБИЙ.
не лги, не воруй, не создавай кумира.
кто заповеди нарушает — тот служит антихристу.
Марэк, Странно, за 9мес. 23 прибыль 2,2млрд., а за год 1,039млрд. Куда они дели 1,2 млрд.р.?
командор, Открытый позицей крайне мало, чтобы как то консолидировать цену у этих значений. Вообще мои наблюдения показывают, что в целом всем пофигу на открытые позиции по опционам если только там ...
Михаил Шварц,
Да, Иркут более популярный, объемы больше
7 мая появилась новость, ускорят испытание двигателей ПД-8, ОАК занимается авиадвигателями, но никто про эту новость пока еще не слыш...
genubat, медицина должна быть бесплатной! Так что по докторам долгосрочно и по карме вопросы, конечно.
А с повышением обязательств тут дело-то какое — 2036 оно для указов, а для персональной реал...
15-летний избил в СИЗО Никиту Журавеля, был сразу награжден званием Герой Чечни и назначен на должность начальника службы безопасности главы республики, в 15 годам получил 7 орденов и медалей и нескол...
Metzger, а где прецессионный анализ Тютькина?
Позволю не согласиться с Вами… Чуток всё хитрее и сложнее…
Но всё равно это более разумный путь…
«положительный результат на ОЧЕНЬ большой серии исторических данных»- это сколько??
Понятия ОЧЕНЬ большой и т.п. в данном случае вторичны. Ясно, что чем больше, тем лучше. На практике нужно уточнять эти понятия с целью получения конкретных оценок прибыльности. Скажем стратегия, обладающая прибыльностью P при тестировании на истории длиной X, с вероятностью p покажет эту прибыльность на реальном счете.
Те же 800 человек через 0,5-1-3-5-7 лет.
Разница?
Выборка в 140 миллионов более достоверна, но не на длительном промежутке.
Хотя того же Стьюдента никто не отменял, вопрос всего лишь в том, какие ряды анализировали ПРОШЛОГО.
Простая статистика не умеет ПЛАНИРОВАТЬ будущий результат с вероятностью выше анализа. А это и ключевой момент.
Анализ динамрядом дает чуть более, но несущественно.