21 августа 2013, 23:59
Тестирование торговых систем бессмысленно ?
Давно хотел прокомментировать пост Артема Крамина (http://smart-lab.ru/profile/kramin/) по-поводу бесполезности тестирования стратегий на исторических данных.
smart-lab.ru/blog/117052.php
Сейчас еще раз зашел, перечел, в том числе все комментарии. Очень много слов, и все — не по делу. Это я про комментарии. А выводы статьи Крамина представляются просто ошибочными. Итак, вот несколько ключевых утверждений и моих комментариев к ним:
«Все ваше тестирование на исторических данных абсолютно бесполезно! Любые результаты полученных на основе прогона системы не значат ничего, они являются всего лишь следствием случайности»
Этим вы отрицаете ВСЯКУЮ возможность предсказывать поведение цены на основе принципов ТА. На самом деле ТА работает, но понимать его выводы следует исключительно как вероятностные.
«Дисперсия приводит ваши результаты из вида: «На основе исторических данных, при реальном использовании система дает за год 10.000 пп. прибыли», в вид: «На основе исторических данных, при реальном использовании система дает за год 10.000 пп. плюс/минус 15.000 пп. прибыли».
Вполне возможно, и это нормально для любой системы, основанной на статистике. И еще, правильнее было бы сформулировать это таким образом:
На основе исторических данных, при реальном использовании система дает за год В СРЕДНЕМ 10.000 пп. плюс/минус 15.000 пп. прибыли. То есть она может дать и 100000.
Следует также отметить, что даже для системы с матожиданием 10000 и дисперсией 15000 абсолютное большинство значений положительно, и, следовательно, на большом ряде реализаций даст положительный результат.
«Вы тестируете систему на исторических данных. Получаете результат +10.000 пп. прибыли. Но в реальности это означает, что запустив ее в следующем году, вы можете получить, как 25.000 пп. прибыли, так и 5.000 пп. Убытков!»
Вполне вероятно, это нормально.
«А теперь представьте себе, что вы тестировали систему. Получили результат в 5.000 пп. убытка, и отправили ее в корзину. Но это на самом деле, могла быть та же самая система, которая давала на других данных 10.000 пп. Прибыли!»
Если он дала убыток на большом массиве исторических данных, а не на одной серии, то ее стоит отправить в корзину.
А теперь кратко суть. Чудес не бывает. Если
1) ваша стратегия действительно содержит «мини-грааль», то есть нечто, ухватывающее скрытые закономерности поведения цены
2) тестирование на ОЧЕНЬ большом ряде исторических данных дает положительный результат
То: с большой ВЕРОЯТНОСТЬЮ эта стратегия даст положительный результат и на реальном счете.
И все. И больше ничего. Причем особенно важно иметь ввиду, что последнее утверждение носит вероятностный характер. Ничего не гарантировано, вы можете получить и убыток. И даже не один раз.
Еще раз, все что можно утверждать, это то, что стратегия, показавшая положительный результат на ОЧЕНЬ большой серии исторических данных, с большой ВЕРОЯТНОСТЬЮ покажет положительный результат на БОЛЬШОЙ серии реальных испытаний.
То есть, возможен (хоть и маловероятен) и такой вариант, что сначала на достаточно значительном отрезке времени стратегия будет показывать отрицательный результат, но впоследствии все-таки выведет результат в плюс.
smart-lab.ru/blog/117052.php
Сейчас еще раз зашел, перечел, в том числе все комментарии. Очень много слов, и все — не по делу. Это я про комментарии. А выводы статьи Крамина представляются просто ошибочными. Итак, вот несколько ключевых утверждений и моих комментариев к ним:
«Все ваше тестирование на исторических данных абсолютно бесполезно! Любые результаты полученных на основе прогона системы не значат ничего, они являются всего лишь следствием случайности»
Этим вы отрицаете ВСЯКУЮ возможность предсказывать поведение цены на основе принципов ТА. На самом деле ТА работает, но понимать его выводы следует исключительно как вероятностные.
«Дисперсия приводит ваши результаты из вида: «На основе исторических данных, при реальном использовании система дает за год 10.000 пп. прибыли», в вид: «На основе исторических данных, при реальном использовании система дает за год 10.000 пп. плюс/минус 15.000 пп. прибыли».
Вполне возможно, и это нормально для любой системы, основанной на статистике. И еще, правильнее было бы сформулировать это таким образом:
На основе исторических данных, при реальном использовании система дает за год В СРЕДНЕМ 10.000 пп. плюс/минус 15.000 пп. прибыли. То есть она может дать и 100000.
Следует также отметить, что даже для системы с матожиданием 10000 и дисперсией 15000 абсолютное большинство значений положительно, и, следовательно, на большом ряде реализаций даст положительный результат.
«Вы тестируете систему на исторических данных. Получаете результат +10.000 пп. прибыли. Но в реальности это означает, что запустив ее в следующем году, вы можете получить, как 25.000 пп. прибыли, так и 5.000 пп. Убытков!»
Вполне вероятно, это нормально.
«А теперь представьте себе, что вы тестировали систему. Получили результат в 5.000 пп. убытка, и отправили ее в корзину. Но это на самом деле, могла быть та же самая система, которая давала на других данных 10.000 пп. Прибыли!»
Если он дала убыток на большом массиве исторических данных, а не на одной серии, то ее стоит отправить в корзину.
А теперь кратко суть. Чудес не бывает. Если
1) ваша стратегия действительно содержит «мини-грааль», то есть нечто, ухватывающее скрытые закономерности поведения цены
2) тестирование на ОЧЕНЬ большом ряде исторических данных дает положительный результат
То: с большой ВЕРОЯТНОСТЬЮ эта стратегия даст положительный результат и на реальном счете.
И все. И больше ничего. Причем особенно важно иметь ввиду, что последнее утверждение носит вероятностный характер. Ничего не гарантировано, вы можете получить и убыток. И даже не один раз.
Еще раз, все что можно утверждать, это то, что стратегия, показавшая положительный результат на ОЧЕНЬ большой серии исторических данных, с большой ВЕРОЯТНОСТЬЮ покажет положительный результат на БОЛЬШОЙ серии реальных испытаний.
То есть, возможен (хоть и маловероятен) и такой вариант, что сначала на достаточно значительном отрезке времени стратегия будет показывать отрицательный результат, но впоследствии все-таки выведет результат в плюс.
genubat, Он сейчас торгуется примерно за 2 годовых прибыли, не думаю что так может вечно продолжаться.
Алексей Наумов, да, ты купил грязный фантик, и на этом поднялся. А по факту дал в жопу зелёному дьяволу, проспонсировал бюджет западла, и поспособствовал военной промышленности дырявых. Ты вложился...
ИМ, отрицательно
autotrade, ту зе муним чутка…
Потеряев А.А.,
Согласен. Я в детстве еще при СССР с родителями жил во Фрунзе(сегодня Бишкек) и бывал в Ташкенте. Там летом 42, зато зимой минус 32 морозы.
И среди знакомых очень много русск...
hilfiger, решают свои вопросы
Auximen,
не читал, но осуждаю. нормально.
мои ссылки в мусорку улетели тоже нечитанными?
19:12
DS, а как вы предлагаете с ней бороться — опуская ставку что ли?
Nordstream, Банк России принял решение с 28 ноября 2024 года до конца 2024 года не осуществлять покупку иностранной валюты на внутреннем валютном рынке в рамках зеркалирования регулярных операций М...
Зампред ВТБ Пьянов: Ослабление курса рубля носит более проинфляционный характер, чем оценивает Банк России, этот фактор может оказать влияние на дальнейшую траекторию ключевой ставки.Он напомнил, что ...
Позволю не согласиться с Вами… Чуток всё хитрее и сложнее…
Но всё равно это более разумный путь…
«положительный результат на ОЧЕНЬ большой серии исторических данных»- это сколько??
Понятия ОЧЕНЬ большой и т.п. в данном случае вторичны. Ясно, что чем больше, тем лучше. На практике нужно уточнять эти понятия с целью получения конкретных оценок прибыльности. Скажем стратегия, обладающая прибыльностью P при тестировании на истории длиной X, с вероятностью p покажет эту прибыльность на реальном счете.
Те же 800 человек через 0,5-1-3-5-7 лет.
Разница?
Выборка в 140 миллионов более достоверна, но не на длительном промежутке.
Хотя того же Стьюдента никто не отменял, вопрос всего лишь в том, какие ряды анализировали ПРОШЛОГО.
Простая статистика не умеет ПЛАНИРОВАТЬ будущий результат с вероятностью выше анализа. А это и ключевой момент.
Анализ динамрядом дает чуть более, но несущественно.