Блог им. Amadeus

"УЗКОМУ КРУГУ ОГРАНИЧЕННЫХ ЛЮДЕЙ": Вот я придумал как оценить вероятность прибыльной работы системы на отрезке в будущем. Хотелось бы послушать критику, обсудить.

В России же много СВЕТИЛ математики, может они и здесь есть на Смарт-лабе?  Особенно хотелось бы услышать А.Г. 

ДАНО:

То что дано нам всегда — система которая оптимизирована на некотором отрезке — например 2007 год и работает в прибыль и имеет плавную эквити.
 
ТРЕБУЕТСЯ:
Определить с какой вероятностью система выйдет в плюс в 2013 году.
 
РЕШЕНИЕ:

1.Тестируем её (форвард тест) на 2008 году. Если система вышла в плюс значит имеем вероятность работы в прибыль в 2013 году 50%.
2.Тестируем на 2009 году. Если система вышла в плюс значит имеем вероятность 75% на 2013 год что она выйдет в плюс.
3.Тестируем на 2010 году соответственно получаем вероятность 87,5% в случае успеха.
4.Тестируем на 2011 году и соответственно получаем 93,75%
5. Тестируем на 2012 году и соответственно получаем 96,87% что она также выйдет в плюс в 2013 году.
 
А что такое 96% — это приличная вероятность и систему можно пускать в работу.

С другой стороны я как бы понимаю что сколько форвардов не делай вероятность 96% быть не может иначе бы все уже давно были миллионерами. Вот как только по другому это посчитать не вижу. Видимо это не возможно потому что ряды не статические.
 
Причем оценить размер прибыли на 2013 год это уже как бы совсем другой вопрос и нужно брать мне кажется взвешенное значение при чем сила прибыльности каждого года в общей оценке должна быть пропорциональна близости к 2013 году.

Критика этой идеи (метода оценки) приветствуется мной и поощряется плюсиками коммента и + в профиль.  
★6
69 комментариев
У тебя есть такая система?
avatar
Я проверяю по другому. Оптимизирую последний год. Тестирую на 5 предыдущих. Затем проверяю на десятке других интрументов без оптимизации. Если не сливает то все отлично. Но 12 год сломал все мои рабочие системы.
avatar
EAGor, это все верно, полностью согласен, но именно как оценить вероятность успеха в будущем.
avatar
Амадей_МФ, выражу мнение, которое не из области теории вероятностей. Вероятность работы системы будет зависеть от того, какие закономерности вы используйте: это как безопасно переходить дорогу не на зеленый, а, допустим, по какому-то случайному признаку, например, по тому, горит ли свет в доме справа на 5-м этаже 2-го подъезда. Можно было тысячу лет переходить улицу, используя этот признак, но после того, как количество авто на дорогах резко выросло экспоненциально, этот признак вам будет давать сбой регулярно. ИМХО, если система использует случайные закономерности рынка, то вероятность ее прибыльности в каждом следующем году будет все равно 50%
avatar
HugoRu, их не отделить «случайные» от «регулярных» вот фундамент вроде бы регулярный, но работает 50/50
avatar
Амадей_МФ, неслучайными можно назвать лишь те закономерности, которые влияют на соотношение спроса-предложения, те такой фундаментал, как печатание денег, эмиссия акций, — безусловно, повлияют, в то же время, инфляция и безработица — показатели, которые на рынок влияют различным образом на разных стадиях экономического цикла
avatar
EAGor, если система один год работает в плюс — то следущий год в плюс будет 50%. если система несколько лет работает в плюс, то вероятность следующего года в плюс будет меньше 50% пропорционально количеству лет работы в плюс. Такая вот теория вероятности… А автору советую почитать для начала умные книжки по теории вероятности — то что написано сплошной БРЕД.
avatar
cant_101, поставил вам плюс за коммент и в профиль, но вы похоже не поняли о чем речь. С каждым успешном тестом вероятность растет. Прочтите еще раз: если 5-ть периодов подряд система дает плюс — то ожидаемая вероятность прибыльности на 6-м тесте — 96,7%. Это очень много. А по вашей логике я так понял каждый год должно прибавляться 50% вероятности и тогда по вашему после 3-х успешных тестов вероятность будет 150%? Сами понимаете такое не возможно.
avatar
Амадей_МФ, конечно не возможно. По моей логике с каждым успешным тестом растет вероятность противоположного результата, что вполне закономерно…

Еще раз, если говорим о теории вероятности: «если 5-ть периодов подряд система дает плюс — то ожидаемая вероятность прибыльности на 6-м тесте — 96,7%.»
НЕТ! ЭТО ВЫ ТАК ДУМАЕТЕ. НА САМОМ ДЕЛЕ СИТУАЦИЯ С ТОЧНОСТЬЮ ДО НАОБОРОТ.

Это вовсе не означает, что система не может работать с вероятностью 96,7%. Это означает, что мало данных для подсчета, т.к. не было ни одного отрицательного результата :).
avatar
Ну у вас и название: «УЗКОМУ КРУГУ ОГРАНИЧЕННЫХ ЛЮДЕЙ»

для справки: «ограниченный человек» — это синоним слова «дибил»…

поправили бы название топика… прям по Задорнову назвали…
avatar
_xXx_, да и заодно исправьте узкий на широкий. а то не такой он уж и узкий на смартлабе этот круг ограниченных лудей
avatar
searcher769, по любому, короче, исправлять надо ))
avatar
searcher769, Пять баллов :)
avatar
Думал написать не написать. Опередили
avatar
_xXx_, специльно так назвал, чтоб тем кто не знает теорию вероятности было не обидно (юмор такой у меня)
avatar
теперь по сути топика:
— если система вышла в плюс в 2008 году, вероятность того, что она будет в плюсе в 2013 совершенно не равна 0.5. С чего вы это взяли?
В 2008 году был мегатренд вниз — это очень специфичный год.
А если система вышла в плюс 2009 году — это тоже никак не может определить вероятность поведения в 2013 году. 2009 — мегатренд вверх.

А вот если система в КАЖДОМ году дала прибыль — это говорит о том, что в 2013 году она также должна быть прибыльной, но тут уже вероятность действительно будет близкой к 1. И это потому, что все годы были разными — как трендовыми, так и с длинными унылыми боковиками. И если система выжила при всех этих состояниях рынка, то она должна пережить и 2013, ибо вряд ли он покажет что либо отличное от совокупности поведений предыдущих лет.
avatar
_xXx_, это вобщем будет верно и будет зависеть от направления рынка если система односторонняя (только лонг) а если она двухсторонняя то уже не будет. И с другой стороны если система односторонняя и выходит в плюс на тренде то вероятность что в следующем году будет тренд опять же 50%. По-моему все сходится.
avatar
я, как один из откликнувшихся ограниченных людей, рекомендовал бы взвешивать более поздние года в повышающих коэффициентом, а не наоборот.
Про веса говорить не буду, а причины следующие — если начинать с 2008-2009 года, то там во-первых волатильность была высокая, а потому и «уловистость» системы обычно выше. Во-вторых, сейчас с рынка снимать бабосы посложнее из-за повсеместного HFT и продвинутости (обилия стратегий) крупных игроков.
avatar
EvALock, иногда я замечал обратную фишку, что если оптимизируешь на прошлом годе, то именно в следующем году будут самые плохие показатели по этому параметру а потом они возращаются к среднему. Объяснения возможное: ГОЛДМАНСАКС (или кто-то) вычисляет по точкам входа (или по тестам) систему и работает против неё. Такое даже Феникс ФХ делал если я верно понял.
avatar
Амадей_МФ, затрудняюсь откомментить такое наблюдение не понимая о какой системе мы говорим.
Поэтому могу отослать к предыдущему посту (рост стратегий, поддерживаемых крупными игроками — немаловажный фактор!) и отсловоблудиться: Видимо, Ваша система уязвима к ММ. Надо повышать ее устойчивость.
avatar
Еще я бы рекомендовал не оценивать абстрактный «успех» (_xXx_ прав, оценка вероятности, данная Вами неагументирована и не выдерживает никакой критики), а считать прогнозную прибыль исходя из backtesting-a(желательно с учетом различий в волатильности/спрэдах/etc. в различные тестируемые года, опять же с учетом взвешивания).
avatar
EvALock, ну и не только прибыль а и просадку, конечно
avatar
EvALock, это да, но это же уже как бы вопрос размера прибыли, а он по сложнее будет
avatar
Амадей_МФ, я говорил не о прибыли как таковой, а об оценке риска — соотношение прибыль/убыток один из ключевых параметров системы…
avatar
EvALock, способ оценки вероятности такой же как например в случае когда надо оценить вероятность выпадения орла/решки у несбалансированной монетки
avatar
Вы приводите расчеты для стационарного стат. ряда, а финансовые рынки не стационарны по факту, поэтому расчеты не верные.
Все уже придумано ))
Есть численный медот bootstrapping. Ваш случай это упрощенный вариант этого метода. Послушать о методе можно тут class.coursera.org/compfinance-2012-001/lecture/101
Там все описано и метод и критерии оценки…
avatar
Lukasus, т.е. поскольку ряд не стационарный то метода нет?
avatar
Амадей_МФ, метод применяется для стационарных рядов
avatar
Lukasus, эх, там язык не наш (
avatar
Кратко: рассуждения верные, но при условии что совершенно не делалась подгонка.

Полно:
Положим взяли систему наугад и она 5 лет не сливает. Значит действительно маловероятно что сольет в след году P=(1/2)^5*(1-1/2)=0.0156.
А другое дело берем N систем и ищем среди них которая не сливает 5 лет или примерно равносильно изменяем параметры одной системы добиваясь чтобы не сливала. И положим нашли такую. То вероятность что не сольет в след году будет много ниже, чем если бы не подгоняли.
Пример: берем N случайных стратегий. Вероятность того, что любая из них не сольет ни разу за 5 лет P=(1/2)^5. Шанс среди N найти нужную X=1-(1-P)^N.
N=30, P=0.61
N=100, P=0.96
Итого в 100 случайных стратегий найдется нужная с вер-ю 96%. И сольет она в след году с вер-ю 1/2 (ибо случайная).
avatar
ivanovr, вот и я все так же вижу
avatar
ivanovr, «И сольет она в след году с вер-ю 1/2 (ибо случайная).» другими словами никакого преимущества система не дает, значит метод тестирования ничего не дает раз преимущество найденной системы 1/2, но это совсем не так в реальных рыночных условиях…
avatar
Lukasus, Потому и не дает, потому и 1/2 что мы взяли СЛУЧАЙНЫЕ системы т.е. не «коррелирующие» с рынком. Вот если мы без подгонки взяли систему и она сразу показала прибыль в каждом из 5 годов, то это означает что довольно велика вероятность что система НЕ СЛУЧАЙНА, что она положительно коррелирует с рынком и значит вер-ть получить прибыль в след году выше чем 1/2. Проблема как-раз в том, что перебрав 100 вариантов на 5 годах и получив что-то приемлемое трейдер думает что нашел не случайную стратегию, а очень часто она получается ничем не лучше случайной.
avatar
сугубо ИМХО просто 2 тезиса:
1 — рынки никогда не повторяются, во всяком случае в ТОЧНОСТИ!
2 — на рынках гораздо больше психологии, чем математики!
и первую второй описать невозможно, ибо она нелинейна и нестационарна )
по крайней мере я торгую исходя из этих посылов )
Гусев Михаил(debtUM), вполне повторяются, не один в один конечно но очень близко, всегда на истории можно найти что то похожее)))
avatar
порадовал заголовок:- "… КРУГУ ОГРАНИЧЕННЫХ ЛЮДЕЙ" :)
«метода» — хрень какая то. Почему первый год отхватывает 50%, а не 41,78% например… а последующие по убывающей, ваще откуда цифры?

вероятность профита =кол-во пибыльных/ кол-во убыточных.

но в постройке профитных систем большая вероятность профита еще ни о чем не говорит, она может делать +1% 150 раз а в конце сделать -100%
avatar
Что за вероятность 50% слива системы в следующем году? Это как вероятность встретить динозавра: либо встречу, либо нет — 50%.
avatar
mx_tan, это пример не правильного применения тервера. Не правильное применение введет в заблуждение.
avatar
mx_tan, но по логике же должна расти вероятность если каждый год система выходила в плюс.
avatar
vladimir55, если не правильно применять, то не имеет и только введет в заблуждение.
avatar
Подкидываем монетку: орёл-решка — шансы по 1/2, даже если решка выпала тысячу раз, вероятность выпадения орла всё таже 1/2…
Владимир Спицын, с монеткой это так и у монетки мы знаем заранее вероятность, а здесь не знаем
avatar
Владимир Спицын, угу, как интересно — а какова вероятность выпадения 1000 раз подряд одной стороны? :)
avatar
Palmonk, вопрос был в том, что мы перехитрили вероятность, а ответ, что с… бёт… какова была вероятность, что на свет появитесь именно вы???
1 поржал над названием поста
2 12год убивает трендовых роботов из-за рекордно низкой волатильности…
3 оценить качество бота весьма просто… сменить таймфрейм на больший меньший и протестить на всех доступных бумагах без оптимизации… должен работать в профит или хотя бы держать дродаун ниже 20%…

4 в конечном счете диверсификация решает
avatar
ves2010, «Узкий круг ограниченных людей» — фраза из 80-ых годов, мы ее еще во студентах применяли. Хорошая, потешная и с улыбкой понятная фраза, хорошо что она в ходу и через 35 лет.
avatar
Пройденный этап.Забудь про рашку. Протесть на европе, америке. если там тоже плюс тогда да. Мы сейчас близки по волатильности к этим индексам а не к рашке 08-09 годов. Но и про нее тоже не забывай, вдруг армагедон или ракета)
avatar
у автора в голове еще та каша :)
==== узкому кругу ОГРАНИЧЕННЫХ людей=======

зачем вам ограниченные люди? :)))

=====светила математики, А. Герчик=======

первый раз в жизни слышу что Герчик это светило математики :)))

=======1.Тестируем её (форвард тест) на 2008 году. Если система вышла в плюс значит имеем вероятность работы в прибыль в 2013 году 50%.======

если, то — вы вообще не понимаете что пишете?

действительно каша в голове неимоверная… попытайтесь для начала хоть немного осознавать и разложить знания по полочкам
avatar
Palmonk, плюсанул коммент и в профиль, но:

А.Г. имеется ввиду Горчаков, у Герчика здесь другой ник.

про «Ограниченных» отвечал уже выше — перечитайте еще раз.

По поводу вероятностей интересна конструктивная критика.
avatar
Амадей_МФ, +1 понятно, сорри.

насчет вероятностей — наверное это зависит от того, на чем построена система — если допустим просто взять какие то индикаторы и тупо подогнать под историю за несколько лет, то какой процент вероятностей в будущем выдаст система предсказать будет невозможно — кто его знает что она там выдаст? (на основе своих нескольколетних опытов с роботами могу сказать что ничего путного скорее всего не выдаст)

другое дело если алгоритм построен на вещах которые ВСЕГДА существуют ибо без них цена вообще бы не смогла ходить — в этом случае вероятность что он заработает гораздо выше 50%
avatar
Тема тестирования торговых систем, а также проблем, связанных с их оптимизацией, на мой взгляд, в первом приближении неплохо раскрыта у Дж. Швагера «Технический анализ. Полный курс» Глава 20 Тестирование и оптимизация торговых систем.
Если там что то не устроит, смело записывайте меня в круг ограниченных.
avatar
вероятность будет равна 0.5 :) в любом случае,
заработает в 2013г — 0.5
не заработает в 2013г — 0.5

:)
avatar
ZooR, ок, :)
avatar
Амадей_МФ,
Вы не правы и вот почему — то, что вы предлагаете похоже на апроксимацию какой-либо кривой полиномом (или рядом Фурье или еще чем-либо) — да легко можно подобрать параметры, так, что на 4 года, 3 года, год ваш полином будет повторять ее…

Но это не значит, что на следующем ближайшем отрезке он ее 'предскажет' ;-)))
avatar
Мне ваш метод показался несколько странным. Я бы сделал по классической схеме:
1) оцениваем по форвардной выборке среднюю дневную доходность
2) строим для несколько доверительных интервалов, 95%, 99% и т.д.
3) выбираем интервал, где нижняя граница доходности 0
Допустим, это оказался 99% доверительный интервал. Значит, можно предположить, что вероятность убытка составляет 0.5%, а вероятность прибыли 99.5%. Но это будут долгосрочные вероятности, рассчитанные в предположении, что ТС устойчива. Если вас интересует вероятность прибыльности строго в течении года, следует спроецировать полученные на дневных интервалах оценки (среднюю, дисперсию) на годовой таймфрейм, умножив их на кол-во торговых дней в году. Дальше используем какое-либо параметрическое распределение, напр., нормальное, подставляем в него спроецированные на годовой горизонт параметры и вычисляем интересующие вероятности.

Или можно использовать Монте-Карло: «перемешиваем» множеством способов дневную динамику эквити и смотрим процент тракекторий, оказавшихся в итоге ниже нуля.
avatar
Позвольте я свои 3 копейки вставлю в ваш аппарат.
Статистика это производная от выборки. А в свою очередь вероятность является результатом оценки статистических данных. Следовательно ваш пост должен начинаться с выборки с которой вы работаете. Понятно, что с ростом вычислительных мощностей все вероятности будут стремиться к значению 50х50. Что мы и наблюдаем в основном по рынку. По мере вовлечения новых участников и их постепенному разорению мы можем утверждать, что «память» у рынка есть и следовательно мы вправе использовать бек тестинг глубина которого зависит от первого трейда до момента невозможности покрыть маржин кол этим участником.
Так же нужно понимать, что ФР в основном является сильно стохастической системой где Вероятностные модели не работают. И т.д. и т.п.
avatar
borism, «ФР в основном является сильно стохастической системой где Вероятностные модели не работают».
Ну вы тут сами себе противоречите сразу в двух планах:
1) стохастический это и есть вероятностный, напр., есть теория стохастический процессов
2) ваше утверждение о том что все стремится к 50х50 представляет собой некоторую вероятностную модель
avatar
q-trader, Давайте определимся в терминах. «Стохастические системы — это системы, изменение в которых носит случайный характер. При случайных воздействиях данных о состоянии системы недостаточно для предсказания в последующий момент времени.»
Или соглашаемся с этим определением или даем свое.

Если соглашаемся, то:
1. В моем определение «в основном является сильно стохастичной...» Нужно понимать, что это не значит, что вероятностные оценки нельзя к нему применять всегда;
2. Что понятие «сильно» может выражаться количественными методами. Или мы можем говорить о снижении этой стохастичности до значений где могут быть применены вероятностные модели.
avatar
borism, проще говоря рынок нестабилен (нет устойчивых средних, волатильностей и т.д.)
avatar
q-trader, Конечно же есть! Есть и средние и волатильность и прочая хрень. Вопрос не в этом. Вопрос в где она есть? 100% она есть в головах у тех на ком получается заработать. Без этого скукота… :)
avatar
от лица представителей «узкого круга» bit.ly/YFT1IQ
avatar
У Вас не замкнутые исходные данные, значит условия
не конечны, а бесконечнечны. Вероятность 0,5% будет
сохраняться для каждого года.
Подойдём с другой стороны.
В Вашей системе Х параметров, каждый из которых
имеет некий вес влияния на систему. Косвенно можно
определить этот вес из статистики оптимизации.
Скажем ± 10% величины параметра как ухудшает результат.
Далее следует разбить год скажем на 12 участков.
Провести оптимизацию на каждом участке.
В итоге вы получите разброс колебаний каждого параметра
за год. Проанализируйте. Колебания параметров идут
вокруг некоего среднего, которое где-то близко к Вашему
оптимальному. Значит всё хорошо, корелляция есть
и Ваша модель устойчива. Если параметры «носит»
по диапазону значений хаотично или направленно,
значит Вы «одурачены случайностью».
Если Ваша система устойчива, то зачем же забегать
на 5 лет вперёд?
Можете просто брать каждый последний месяц от текущего
дня и снова смотреть оптимальные параметры.
И смотреть сохраняется ли стабильность колебаний
и не пошла ли система «в разнос».
avatar
Вот как вижу суть поста:
1) Подберём параметры, при которых кривая эквити n-лет более-менее ровная (выдерживает дд).
2) Задаёмся вопросом: будет ли в следующем периоде 1/n результат удовлетворять требованиям?

Что думаю сам:
1) Не вижу связи дроби 1/n с приростом вероятности.
2) Если уж подходить с этой стороны… Допустим, лет для тестов достаточно (однозначно нужно больше, чем нашим фьючам). Строим нормальное распределение, которое отвечает на вопрос типа этого «как часто(Y) выпадает X подряд орлов/решек»… Надеюсь мысль понятна.
Если параметры не менялись, то в принципе нормальная методика оценки вероятности. В свое время я применял такое для вероятности превзойти максимальную просадку

www.howtotrade.ru/forum3/posts/182.html
avatar

теги блога Амадей_МФ

....все тэги



UPDONW
Новый дизайн