Александр Дрозд
Александр Дрозд личный блог
03 ноября 2011, 14:50

Ценная подборка #6. Неправильное представление о шансе. Выбор значимого периода данных при тестировании торговых систем.

Большинство людей ожидает, что последовательность событий, генерируемых случайным процессом, будет содержать характеристики этого процесса даже тогда, когда эта последовательность крайне мала. При рассмотрении результатов подбрасывания монеты и выпадения орла (О) или решки (Р) большинство людей посчитает, что выпадение последовательности

ОРОРРО

намного более вероятно, нежели выпадение последовательности

ОООРРР,

которая не кажется случайной, и уж наверняка более вероятно, чем выпадение последовательности

ООООРО,

которая на первый взгляд вообще отрицает «честность монеты».

Люди наивно полагают, что базовым характеристикам случайного процесса будет удовлетворять не только общее множество его исходов, но и каждая часть этого множества. Однако характеристики подмножества множества исходов могут систематически отклоняться от базовых. В подмножествах могут появляться статистические выбросы, воздействие которых не будет нивелироваться из-за малого количества исходов, входящих в подмножество. Но большинство людей игнорирует это соображение, так как мгновенно чувствует случайную регулярность в абсолютно случайном наборе событий, и на основе этой случайной (ни на чем не основанной) регулярности принимает решения.
Подобный факт получил название заблуждение «горячей руки».

Среди обозревателей и участников игры в баскетбол широко распространено мнение о том, что игроки иногда бывают «горячими», а иногда «холодными» по отношению к своей средней результативности. Другими словами, игроки иногда забивают больше, а иногда — меньше по сравнению со своей средней результативностью. Исследователи проанализировали результаты бросков игроков в сотнях игр и не выявили никаких значительных отклонений от средней результативности игроков.

Заблуждение «горячей руки» не исчезает, когда мы переходим из мира спорта в мир финансов. На финансовых рынках в качестве игрока можно рассматривать любого инвестора, а в качестве заброшенных им мячей — доходность, которую он получает от проведения финансовых операций.

Например, менеджер инвестиционной компании (паевого инвестиционного фонда), которая под его управлением достигала высокого дохода несколько лет подряд, получает беспрецедентную уверенность в своих силах (но самое главное, что его уверенность передается его клиентам). Он начинает уделять меньшее внимание действительно значимым факторам и большее — своим иллюзиям (интуиции). А подобное поведение может привести к принятию неверных инвестиционных решений и, как следствие, убыткам.

Другим примером человеческой веры в локальную репрезентативность выборки является хорошо известное заблуждение игрока. После того как на рулетке несколько раз подряд выпадает красное, большинство людей начинают (наивно) ожидать, что уж теперь-то наверняка должно выпасть черное. Эти люди считают, что выпадение черного будет более «репрезентативно» для рулетки, нежели очередная реализация красного. Они полагают, что шанс является саморегулируемым процессом, в котором отклонения в одну сторону непременно должны компенсироваться отклонениями в другую для восстановления равновесия. Но на самом деле отклонения вовсе не обязаны «корректировать» друг друга.

Заблуждение игрока является прямым следствием непонимания закона больших чисел. Большинство людей (наивно) полагает, что закон больших чисел можно применять к небольшим выборкам абсолютно так же, как он применяется к большим. Подобное заблуждение Канеман и Тверски иронично назвали законом малых чисел.

Закон больших чисел гласит: при достаточно большом количестве наблюдений распределение стремится к нормальному.

Закон малых чисел гласит, что люди будут считать даже очень небольшие выборки репрезентативными по множеству, из которого они были получены.


Н.Б. Рудык 



Мой комментарий.

При тестировании торговых систем важно не заниматься самообманом и исследовать результаты работы ТС на максимально длительных периодах истории (от 3-х и более лет). Подгонкой можно считать результаты за два года и менее. Надежной (теоретически) можно считать ТС, которая при тестировании, на любом периоде, продолжительной исторической выборки, показывала стабильные результаты.


Умиляет рекламма фондов, которые пользуясь законом малых чисел, демонстируют работу самых удачных периодов управления (как, например, это было после бурного роста 2009 года). 
26 Комментариев
  • Ед В
    03 ноября 2011, 14:52
    +1
  • deleted
    03 ноября 2011, 14:55
    Отличное заключение (особенно последний абзац). Виртуальный плюс.
    • Ед В
      03 ноября 2011, 14:58
      staff_03, помню у бкс была реклама доходность 20% за месяц*
      *-август 2011)
      • deleted
        03 ноября 2011, 15:11
        Lord Fridrich II, если брать стратегию «buy&hold», то она покажет отличный рост за период 2009-2011.

        Как они в августе 2011 получили 20% — непонятно.
        • Magrib
          03 ноября 2011, 15:17
          Реклама у БКС была следующая: +16.2% за август. Мы умеем работать от шорта…
  • Magrib
    03 ноября 2011, 15:19
    Контора еще ТА, у меня из знакомых вообще никто не заработал с 2010 пл сейчас, а просадки есть…
  • Александр Ерохин
    03 ноября 2011, 15:34
    Верю автору, такое большое количество букв не может не быть веским аргументом..))) А если серьёзно, то я подбрасывал монету 200 раз, омечая столбиками по 10 подбрасываний. Из 20 столбиков 2 раза выходило 8/2 и 1 раз 9/1. Словами автора ОООООООООР или РРРРРРРРОО. И что вы думаете в конце? 98/102. Причем в каждой сотне то же 48/52 и 49/51…
  • Pafnut
    03 ноября 2011, 15:35
    Супер. Добавил в избранное.
  • Александр Ерохин
    03 ноября 2011, 15:35
    Закон вероятности работает на больших числах!
      • Александр Ерохин
        03 ноября 2011, 15:43
        Александр Дрозд, пожалуйста добавьте расчет в своем калькуляторе будущего до 40 лет минимум, так как это средняя продолжительность рабочего периода жизни человека. С 20лет до 60.
  • Роман
    03 ноября 2011, 16:13
    все было бы так Хорошо если бы не было наблюдателя. Который меняет исход 50/50 при подбросе монетки. ) исследования лаборатории pear princeton university 2007г (автор почитай) + есть еще стандартное распределение гаусса где конечно все стремится к 01010101 но если у тебя 0111x то след вероятнее что? 1 ) так как идет серия. а закончиться она когда будет 0 )т.е. разница где ты тестируешь огромна. И если ты увеличиваешь доходность то указание конкретного момента 111 ты обязан. Вся сложность в роботе и автоматике и есть в скорости поиска корреляции для маx профит. ) Сложно как-то написал но думаю понятно. (по простому) Вывод: Тест на большие дистанции хорош но эффективность и его результат 0 )
    Будь гибким и быстро меняйся только тогда заработаешь.))) ИМХО
  • ves2010
    03 ноября 2011, 16:24
    банально
  • Георгий
    03 ноября 2011, 19:16
    Отличный пост с абсолютно неверными выводами. Если порассуждать, то:
    1) Случайная величина на участке с выборкой < бесконечность не есть случайная величина с бесконечной выборкой
    2) Рынок — случайное блуждание в бесконечном периоде (это даказали еще 50 лет назад)
    Из первого и второго вытекает, что, чтобы заработать на рынке надо как минимум не анализировать большую историю и подбирать грааль (поэтому индикаторы все без исключения не работают)
  • Иван Баффетт
    03 ноября 2011, 21:22
    Есть еще одна интерпретация закона больших чисел:
    большое количество случайных событий приводят к результатам не зависящим от случая…

    Тестить систему на 30 годах или 10…
    тут свои вопросы есть при бэктесте за эти периоды:
    стоит производить переоптимизацию параметров ТС?
    когда ее производить?
    за какой период?
    Уже при использовании ТС на реале — опять два последних вопроса
    При бэктесте при неизменных параметрах обратите внимание на график доходности по годам — наверняка вы уведите периоды застоя, кт длятся 6-8-12-16… месяцев — насколько это приемлемо?.. без переоптимизации очень возможно что такие периоды будут

    Из опыта тестирования скажу сразу самые лучшие результаты дают полуавтоматы — где нужно дорабатывать руками(останавливать систему в т.ч там где лажает программная часть и пр.)и работать вместе с автоматом — рынок меняется, а железяка этого не видит)))
  • broker25
    29 января 2014, 10:41
    а как же вот этот кусок из вашего же блога?
    слова Механизатора
    "— Как ты тестировал стратегии в 2002 году, если исторических данных было немного?
    — Я не тестирую свою систему на всей истории, а смотрю только на текущий контекст.
    Например, в прошлом году было сильное падение, а сейчас рынок уже другой.
    Историю рынка нельзя рассматривать как нечто информативное.
    Система должна смотреть на текущее его состояние и работать в сегодняшнем контексте. "
  • broker25
    29 января 2014, 12:33
    мне кажется, могут быть прибыльными алгоритмы на короткой истории и на длинной. Как я понял, вы же сами это подтверждаете в посте про систему на основе дата-майнинга, в которой параметры системы определяются алгоритмом. Я когда-то делал такую штуку для нейросетей. Правда, в теории очень прибыльно, а на практике нет

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн