Амадей_МФ
Амадей_МФ личный блог
19 февраля 2013, 23:23

"УЗКОМУ КРУГУ ОГРАНИЧЕННЫХ ЛЮДЕЙ": Вот я придумал как оценить вероятность прибыльной работы системы на отрезке в будущем. Хотелось бы послушать критику, обсудить.

В России же много СВЕТИЛ математики, может они и здесь есть на Смарт-лабе?  Особенно хотелось бы услышать А.Г. 

ДАНО:

То что дано нам всегда — система которая оптимизирована на некотором отрезке — например 2007 год и работает в прибыль и имеет плавную эквити.
 
ТРЕБУЕТСЯ:
Определить с какой вероятностью система выйдет в плюс в 2013 году.
 
РЕШЕНИЕ:

1.Тестируем её (форвард тест) на 2008 году. Если система вышла в плюс значит имеем вероятность работы в прибыль в 2013 году 50%.
2.Тестируем на 2009 году. Если система вышла в плюс значит имеем вероятность 75% на 2013 год что она выйдет в плюс.
3.Тестируем на 2010 году соответственно получаем вероятность 87,5% в случае успеха.
4.Тестируем на 2011 году и соответственно получаем 93,75%
5. Тестируем на 2012 году и соответственно получаем 96,87% что она также выйдет в плюс в 2013 году.
 
А что такое 96% — это приличная вероятность и систему можно пускать в работу.

С другой стороны я как бы понимаю что сколько форвардов не делай вероятность 96% быть не может иначе бы все уже давно были миллионерами. Вот как только по другому это посчитать не вижу. Видимо это не возможно потому что ряды не статические.
 
Причем оценить размер прибыли на 2013 год это уже как бы совсем другой вопрос и нужно брать мне кажется взвешенное значение при чем сила прибыльности каждого года в общей оценке должна быть пропорциональна близости к 2013 году.

Критика этой идеи (метода оценки) приветствуется мной и поощряется плюсиками коммента и + в профиль.  
69 Комментариев
  • EAGor
    19 февраля 2013, 23:46
    У тебя есть такая система?
  • EAGor
    19 февраля 2013, 23:51
    Я проверяю по другому. Оптимизирую последний год. Тестирую на 5 предыдущих. Затем проверяю на десятке других интрументов без оптимизации. Если не сливает то все отлично. Но 12 год сломал все мои рабочие системы.
      • HugoRu
        20 февраля 2013, 12:07
        Амадей_МФ, выражу мнение, которое не из области теории вероятностей. Вероятность работы системы будет зависеть от того, какие закономерности вы используйте: это как безопасно переходить дорогу не на зеленый, а, допустим, по какому-то случайному признаку, например, по тому, горит ли свет в доме справа на 5-м этаже 2-го подъезда. Можно было тысячу лет переходить улицу, используя этот признак, но после того, как количество авто на дорогах резко выросло экспоненциально, этот признак вам будет давать сбой регулярно. ИМХО, если система использует случайные закономерности рынка, то вероятность ее прибыльности в каждом следующем году будет все равно 50%
          • HugoRu
            20 февраля 2013, 23:17
            Амадей_МФ, неслучайными можно назвать лишь те закономерности, которые влияют на соотношение спроса-предложения, те такой фундаментал, как печатание денег, эмиссия акций, — безусловно, повлияют, в то же время, инфляция и безработица — показатели, которые на рынок влияют различным образом на разных стадиях экономического цикла
    • cant_101
      20 февраля 2013, 02:10
      EAGor, если система один год работает в плюс — то следущий год в плюс будет 50%. если система несколько лет работает в плюс, то вероятность следующего года в плюс будет меньше 50% пропорционально количеству лет работы в плюс. Такая вот теория вероятности… А автору советую почитать для начала умные книжки по теории вероятности — то что написано сплошной БРЕД.
        • cant_101
          21 февраля 2013, 01:44
          Амадей_МФ, конечно не возможно. По моей логике с каждым успешным тестом растет вероятность противоположного результата, что вполне закономерно…

          Еще раз, если говорим о теории вероятности: «если 5-ть периодов подряд система дает плюс — то ожидаемая вероятность прибыльности на 6-м тесте — 96,7%.»
          НЕТ! ЭТО ВЫ ТАК ДУМАЕТЕ. НА САМОМ ДЕЛЕ СИТУАЦИЯ С ТОЧНОСТЬЮ ДО НАОБОРОТ.

          Это вовсе не означает, что система не может работать с вероятностью 96,7%. Это означает, что мало данных для подсчета, т.к. не было ни одного отрицательного результата :).
  • _xXx_
    19 февраля 2013, 23:55
    Ну у вас и название: «УЗКОМУ КРУГУ ОГРАНИЧЕННЫХ ЛЮДЕЙ»

    для справки: «ограниченный человек» — это синоним слова «дибил»…

    поправили бы название топика… прям по Задорнову назвали…
    • searcher769
      19 февраля 2013, 23:58
      _xXx_, да и заодно исправьте узкий на широкий. а то не такой он уж и узкий на смартлабе этот круг ограниченных лудей
      • _xXx_
        20 февраля 2013, 00:05
        searcher769, по любому, короче, исправлять надо ))
      • cant_101
        20 февраля 2013, 02:05
        searcher769, Пять баллов :)
    • CAHbI4
      20 февраля 2013, 00:05
      Думал написать не написать. Опередили
  • _xXx_
    20 февраля 2013, 00:04
    теперь по сути топика:
    — если система вышла в плюс в 2008 году, вероятность того, что она будет в плюсе в 2013 совершенно не равна 0.5. С чего вы это взяли?
    В 2008 году был мегатренд вниз — это очень специфичный год.
    А если система вышла в плюс 2009 году — это тоже никак не может определить вероятность поведения в 2013 году. 2009 — мегатренд вверх.

    А вот если система в КАЖДОМ году дала прибыль — это говорит о том, что в 2013 году она также должна быть прибыльной, но тут уже вероятность действительно будет близкой к 1. И это потому, что все годы были разными — как трендовыми, так и с длинными унылыми боковиками. И если система выжила при всех этих состояниях рынка, то она должна пережить и 2013, ибо вряд ли он покажет что либо отличное от совокупности поведений предыдущих лет.
  • EvALock
    20 февраля 2013, 00:08
    я, как один из откликнувшихся ограниченных людей, рекомендовал бы взвешивать более поздние года в повышающих коэффициентом, а не наоборот.
    Про веса говорить не буду, а причины следующие — если начинать с 2008-2009 года, то там во-первых волатильность была высокая, а потому и «уловистость» системы обычно выше. Во-вторых, сейчас с рынка снимать бабосы посложнее из-за повсеместного HFT и продвинутости (обилия стратегий) крупных игроков.
      • EvALock
        20 февраля 2013, 00:38
        Амадей_МФ, затрудняюсь откомментить такое наблюдение не понимая о какой системе мы говорим.
        Поэтому могу отослать к предыдущему посту (рост стратегий, поддерживаемых крупными игроками — немаловажный фактор!) и отсловоблудиться: Видимо, Ваша система уязвима к ММ. Надо повышать ее устойчивость.
  • EvALock
    20 февраля 2013, 00:13
    Еще я бы рекомендовал не оценивать абстрактный «успех» (_xXx_ прав, оценка вероятности, данная Вами неагументирована и не выдерживает никакой критики), а считать прогнозную прибыль исходя из backtesting-a(желательно с учетом различий в волатильности/спрэдах/etc. в различные тестируемые года, опять же с учетом взвешивания).
    • EvALock
      20 февраля 2013, 00:14
      EvALock, ну и не только прибыль а и просадку, конечно
      • EvALock
        20 февраля 2013, 00:40
        Амадей_МФ, я говорил не о прибыли как таковой, а об оценке риска — соотношение прибыль/убыток один из ключевых параметров системы…
  • Lukasus
    20 февраля 2013, 00:53
    Вы приводите расчеты для стационарного стат. ряда, а финансовые рынки не стационарны по факту, поэтому расчеты не верные.
    Все уже придумано ))
    Есть численный медот bootstrapping. Ваш случай это упрощенный вариант этого метода. Послушать о методе можно тут class.coursera.org/compfinance-2012-001/lecture/101
    Там все описано и метод и критерии оценки…
      • Lukasus
        20 февраля 2013, 02:34
        Амадей_МФ, метод применяется для стационарных рядов
  • Roman Ivanov
    20 февраля 2013, 01:10
    Кратко: рассуждения верные, но при условии что совершенно не делалась подгонка.

    Полно:
    Положим взяли систему наугад и она 5 лет не сливает. Значит действительно маловероятно что сольет в след году P=(1/2)^5*(1-1/2)=0.0156.
    А другое дело берем N систем и ищем среди них которая не сливает 5 лет или примерно равносильно изменяем параметры одной системы добиваясь чтобы не сливала. И положим нашли такую. То вероятность что не сольет в след году будет много ниже, чем если бы не подгоняли.
    Пример: берем N случайных стратегий. Вероятность того, что любая из них не сольет ни разу за 5 лет P=(1/2)^5. Шанс среди N найти нужную X=1-(1-P)^N.
    N=30, P=0.61
    N=100, P=0.96
    Итого в 100 случайных стратегий найдется нужная с вер-ю 96%. И сольет она в след году с вер-ю 1/2 (ибо случайная).
    • Lukasus
      20 февраля 2013, 02:38
      ivanovr, «И сольет она в след году с вер-ю 1/2 (ибо случайная).» другими словами никакого преимущества система не дает, значит метод тестирования ничего не дает раз преимущество найденной системы 1/2, но это совсем не так в реальных рыночных условиях…
      • Roman Ivanov
        20 февраля 2013, 08:24
        Lukasus, Потому и не дает, потому и 1/2 что мы взяли СЛУЧАЙНЫЕ системы т.е. не «коррелирующие» с рынком. Вот если мы без подгонки взяли систему и она сразу показала прибыль в каждом из 5 годов, то это означает что довольно велика вероятность что система НЕ СЛУЧАЙНА, что она положительно коррелирует с рынком и значит вер-ть получить прибыль в след году выше чем 1/2. Проблема как-раз в том, что перебрав 100 вариантов на 5 годах и получив что-то приемлемое трейдер думает что нашел не случайную стратегию, а очень часто она получается ничем не лучше случайной.
  • Гусев Михаил(debtUM)
    20 февраля 2013, 04:56
    сугубо ИМХО просто 2 тезиса:
    1 — рынки никогда не повторяются, во всяком случае в ТОЧНОСТИ!
    2 — на рынках гораздо больше психологии, чем математики!
    и первую второй описать невозможно, ибо она нелинейна и нестационарна )
    по крайней мере я торгую исходя из этих посылов )
    • Shamoi
      20 февраля 2013, 10:28
      Гусев Михаил(debtUM), вполне повторяются, не один в один конечно но очень близко, всегда на истории можно найти что то похожее)))
  • 2341234
    20 февраля 2013, 05:07
    порадовал заголовок:- "… КРУГУ ОГРАНИЧЕННЫХ ЛЮДЕЙ" :)
    «метода» — хрень какая то. Почему первый год отхватывает 50%, а не 41,78% например… а последующие по убывающей, ваще откуда цифры?

    вероятность профита =кол-во пибыльных/ кол-во убыточных.

    но в постройке профитных систем большая вероятность профита еще ни о чем не говорит, она может делать +1% 150 раз а в конце сделать -100%
  • mx_tan
    20 февраля 2013, 07:59
    Что за вероятность 50% слива системы в следующем году? Это как вероятность встретить динозавра: либо встречу, либо нет — 50%.
    • Roman Ivanov
      20 февраля 2013, 08:40
      mx_tan, это пример не правильного применения тервера. Не правильное применение введет в заблуждение.
  • Владимир Спицын
    20 февраля 2013, 09:05
    Подкидываем монетку: орёл-решка — шансы по 1/2, даже если решка выпала тысячу раз, вероятность выпадения орла всё таже 1/2…
    • Андрей Палий
      21 февраля 2013, 20:27
      Владимир Спицын, угу, как интересно — а какова вероятность выпадения 1000 раз подряд одной стороны? :)
      • Владимир Спицын
        21 февраля 2013, 20:32
        Palmonk, вопрос был в том, что мы перехитрили вероятность, а ответ, что с… бёт… какова была вероятность, что на свет появитесь именно вы???
  • ves2010
    20 февраля 2013, 09:41
    1 поржал над названием поста
    2 12год убивает трендовых роботов из-за рекордно низкой волатильности…
    3 оценить качество бота весьма просто… сменить таймфрейм на больший меньший и протестить на всех доступных бумагах без оптимизации… должен работать в профит или хотя бы держать дродаун ниже 20%…

    4 в конечном счете диверсификация решает
    • nik
      20 февраля 2013, 09:46
      ves2010, «Узкий круг ограниченных людей» — фраза из 80-ых годов, мы ее еще во студентах применяли. Хорошая, потешная и с улыбкой понятная фраза, хорошо что она в ходу и через 35 лет.
  • Shamoi
    20 февраля 2013, 10:27
    Пройденный этап.Забудь про рашку. Протесть на европе, америке. если там тоже плюс тогда да. Мы сейчас близки по волатильности к этим индексам а не к рашке 08-09 годов. Но и про нее тоже не забывай, вдруг армагедон или ракета)
  • Андрей Палий
    20 февраля 2013, 10:47
    у автора в голове еще та каша :)
    ==== узкому кругу ОГРАНИЧЕННЫХ людей=======

    зачем вам ограниченные люди? :)))

    =====светила математики, А. Герчик=======

    первый раз в жизни слышу что Герчик это светило математики :)))

    =======1.Тестируем её (форвард тест) на 2008 году. Если система вышла в плюс значит имеем вероятность работы в прибыль в 2013 году 50%.======

    если, то — вы вообще не понимаете что пишете?

    действительно каша в голове неимоверная… попытайтесь для начала хоть немного осознавать и разложить знания по полочкам
      • Андрей Палий
        20 февраля 2013, 13:01
        Амадей_МФ, +1 понятно, сорри.

        насчет вероятностей — наверное это зависит от того, на чем построена система — если допустим просто взять какие то индикаторы и тупо подогнать под историю за несколько лет, то какой процент вероятностей в будущем выдаст система предсказать будет невозможно — кто его знает что она там выдаст? (на основе своих нескольколетних опытов с роботами могу сказать что ничего путного скорее всего не выдаст)

        другое дело если алгоритм построен на вещах которые ВСЕГДА существуют ибо без них цена вообще бы не смогла ходить — в этом случае вероятность что он заработает гораздо выше 50%
  • ProfFit
    20 февраля 2013, 11:03
    Тема тестирования торговых систем, а также проблем, связанных с их оптимизацией, на мой взгляд, в первом приближении неплохо раскрыта у Дж. Швагера «Технический анализ. Полный курс» Глава 20 Тестирование и оптимизация торговых систем.
    Если там что то не устроит, смело записывайте меня в круг ограниченных.
  • ZooR
    20 февраля 2013, 11:57
    вероятность будет равна 0.5 :) в любом случае,
    заработает в 2013г — 0.5
    не заработает в 2013г — 0.5

    :)
      • К.О'Тяра
        20 февраля 2013, 17:22
        Амадей_МФ,
        Вы не правы и вот почему — то, что вы предлагаете похоже на апроксимацию какой-либо кривой полиномом (или рядом Фурье или еще чем-либо) — да легко можно подобрать параметры, так, что на 4 года, 3 года, год ваш полином будет повторять ее…

        Но это не значит, что на следующем ближайшем отрезке он ее 'предскажет' ;-)))
  • q-trader
    20 февраля 2013, 13:43
    Мне ваш метод показался несколько странным. Я бы сделал по классической схеме:
    1) оцениваем по форвардной выборке среднюю дневную доходность
    2) строим для несколько доверительных интервалов, 95%, 99% и т.д.
    3) выбираем интервал, где нижняя граница доходности 0
    Допустим, это оказался 99% доверительный интервал. Значит, можно предположить, что вероятность убытка составляет 0.5%, а вероятность прибыли 99.5%. Но это будут долгосрочные вероятности, рассчитанные в предположении, что ТС устойчива. Если вас интересует вероятность прибыльности строго в течении года, следует спроецировать полученные на дневных интервалах оценки (среднюю, дисперсию) на годовой таймфрейм, умножив их на кол-во торговых дней в году. Дальше используем какое-либо параметрическое распределение, напр., нормальное, подставляем в него спроецированные на годовой горизонт параметры и вычисляем интересующие вероятности.

    Или можно использовать Монте-Карло: «перемешиваем» множеством способов дневную динамику эквити и смотрим процент тракекторий, оказавшихся в итоге ниже нуля.
  • borism
    20 февраля 2013, 14:08
    Позвольте я свои 3 копейки вставлю в ваш аппарат.
    Статистика это производная от выборки. А в свою очередь вероятность является результатом оценки статистических данных. Следовательно ваш пост должен начинаться с выборки с которой вы работаете. Понятно, что с ростом вычислительных мощностей все вероятности будут стремиться к значению 50х50. Что мы и наблюдаем в основном по рынку. По мере вовлечения новых участников и их постепенному разорению мы можем утверждать, что «память» у рынка есть и следовательно мы вправе использовать бек тестинг глубина которого зависит от первого трейда до момента невозможности покрыть маржин кол этим участником.
    Так же нужно понимать, что ФР в основном является сильно стохастической системой где Вероятностные модели не работают. И т.д. и т.п.
    • q-trader
      20 февраля 2013, 15:19
      borism, «ФР в основном является сильно стохастической системой где Вероятностные модели не работают».
      Ну вы тут сами себе противоречите сразу в двух планах:
      1) стохастический это и есть вероятностный, напр., есть теория стохастический процессов
      2) ваше утверждение о том что все стремится к 50х50 представляет собой некоторую вероятностную модель
      • borism
        20 февраля 2013, 15:37
        q-trader, Давайте определимся в терминах. «Стохастические системы — это системы, изменение в которых носит случайный характер. При случайных воздействиях данных о состоянии системы недостаточно для предсказания в последующий момент времени.»
        Или соглашаемся с этим определением или даем свое.

        Если соглашаемся, то:
        1. В моем определение «в основном является сильно стохастичной...» Нужно понимать, что это не значит, что вероятностные оценки нельзя к нему применять всегда;
        2. Что понятие «сильно» может выражаться количественными методами. Или мы можем говорить о снижении этой стохастичности до значений где могут быть применены вероятностные модели.
        • q-trader
          20 февраля 2013, 16:02
          borism, проще говоря рынок нестабилен (нет устойчивых средних, волатильностей и т.д.)
          • borism
            20 февраля 2013, 16:10
            q-trader, Конечно же есть! Есть и средние и волатильность и прочая хрень. Вопрос не в этом. Вопрос в где она есть? 100% она есть в головах у тех на ком получается заработать. Без этого скукота… :)
  • Shredder
    20 февраля 2013, 15:56
    от лица представителей «узкого круга» bit.ly/YFT1IQ
  • Андрей Кучумов
    20 февраля 2013, 19:18
    У Вас не замкнутые исходные данные, значит условия
    не конечны, а бесконечнечны. Вероятность 0,5% будет
    сохраняться для каждого года.
    Подойдём с другой стороны.
    В Вашей системе Х параметров, каждый из которых
    имеет некий вес влияния на систему. Косвенно можно
    определить этот вес из статистики оптимизации.
    Скажем ± 10% величины параметра как ухудшает результат.
    Далее следует разбить год скажем на 12 участков.
    Провести оптимизацию на каждом участке.
    В итоге вы получите разброс колебаний каждого параметра
    за год. Проанализируйте. Колебания параметров идут
    вокруг некоего среднего, которое где-то близко к Вашему
    оптимальному. Значит всё хорошо, корелляция есть
    и Ваша модель устойчива. Если параметры «носит»
    по диапазону значений хаотично или направленно,
    значит Вы «одурачены случайностью».
    Если Ваша система устойчива, то зачем же забегать
    на 5 лет вперёд?
    Можете просто брать каждый последний месяц от текущего
    дня и снова смотреть оптимальные параметры.
    И смотреть сохраняется ли стабильность колебаний
    и не пошла ли система «в разнос».
  • Антон Денисков (Fry)
    20 февраля 2013, 22:14
    Вот как вижу суть поста:
    1) Подберём параметры, при которых кривая эквити n-лет более-менее ровная (выдерживает дд).
    2) Задаёмся вопросом: будет ли в следующем периоде 1/n результат удовлетворять требованиям?

    Что думаю сам:
    1) Не вижу связи дроби 1/n с приростом вероятности.
    2) Если уж подходить с этой стороны… Допустим, лет для тестов достаточно (однозначно нужно больше, чем нашим фьючам). Строим нормальное распределение, которое отвечает на вопрос типа этого «как часто(Y) выпадает X подряд орлов/решек»… Надеюсь мысль понятна.
  • А. Г.
    20 февраля 2013, 23:34
    Если параметры не менялись, то в принципе нормальная методика оценки вероятности. В свое время я применял такое для вероятности превзойти максимальную просадку

    www.howtotrade.ru/forum3/posts/182.html

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн