Блог им. AGorchakov

"Веселые картинки"

    • 14 ноября 2017, 00:02
    • |
    • А. Г.
      Проверенный аккаунт
  • Еще
По просьбе Oleg Only Algo в обсуждении моих результатов публикую тест моих трендовых алгоритмов с 2007 года:

"Веселые картинки"

На картинке теоретическая Эквити портфеля при MAXDD 25% (на приведенном графике Эквити максимальная просадка 20,5%):

FRTS — 1/2, проскальзывание плюс комиссия на операцию 100 пунктов;
GAZP, SBER  по 1/6, проскальзывание плюс комиссия на операцию 0,1%;
GMKN- 1/6, проскальзывание плюс комиссия на операцию 0,15%;
FUSD — 1/3 (c 01/03/2009, ранее осени 2008 ликвидность слабовата, а для системы мне надо 100 ликвидных дней без тестовых торгов), проскальзывание плюс комиссия на операцию 50 пунктов.

Что не учтено по сравнению с реальным портфелем?

ОФЗ, синтетические облигации лонг SBER (GAZP) — шорт ближайший фьючерс, контртрендовая система в FRTS и провалившаяся 3 марта 2014-го опционная.

Какие натяжки? 

1. В сентябре 2008-мае 2009 учтены шорты в акциях, хотя шорты были запрещены и если в Газпроме и Сбербанке их еще можно было попробовать торговать через синтетическую облигацию, но с Норильским никелем — явная «натяжка».
2. Исходные Эквити FRTS и FUSD получены в пунктах при торговле 1 контрактом, для перевода в %% считалась дневная маржа в рублях и относилась к номинальной рублевой стоимости контракта накануне, из чего получался % изменения за день, затем Эквити в % получалась по формуле сложного процента из этих дневных приращений. 

И наконец, несмотря на «страшные» проценты по итогу, только один год (2009) годовая доходность трехзначная.

Если сравнивать с реальностью с 12.07.2012, то 2013-2014 в реальности хуже (и я знаю почему, особенно про «удар опционами» 03.03.2014) 2015-2017 — чуть лучше (и я тоже знаю почему). Ну а все, что до 12.07.2012 — результат тестов. Прошлую реальность я уже приводил.
★2
70 комментариев
Ускорение роста?
avatar
avanes5555, не знаю, но с июня «жизнь налаживается».
avatar
А. Г., натяжка тут всего одна — последние два года прибыли нет, а так всё ок, раньше жгли хорошо!
Zweroboi, ну было такое и на истории (см. с июля 2009 по август 2010)
avatar
А. Г., только теперь это будет продолжаться и постепенно двигаться на юг. Два года назад произошли качественные изменения — появились хорошие библиотеки для машобучения и пацанчики пошустрее банально научились их применять к рынкам. Такие как вы мгновенно перешли из крепких середнячков в разряд элитной жрачки, типа такая чёрная икра. Потом станет красной, потом баклажановой. Но вы уже изнутри можно сказать на это смотрите ))
Zweroboi, не согласен с причинами.  Периоды длинные низкой волатильности на SPY встречались и 10 лет назад и 20, а у нас то они чётко коррелируют с «прижимистостью»  ЦБ.  Технологии в этом деле,  дело десятое.  Деньги всему голова. 
avatar
А. Г., таких технологий, какие есть сейчас и к тому же в открытом доступе, никогда не было. Да, халявы стало поменьше, а конкуренции побольше. Очень может статься, что низкая волатильность для отстающих в определённом смысле благо — не так быстро сливают.
Zweroboi, да я нейросетями виде перцептрона  и генетическими алгоритмами еще в середине 90-х «баловался». Если на  вход подавать только цены — «пустышка»  для торговли. А уж понятие самообучающихся алгоритмов помню еще с курса программирования в ВУЗе (первая половина 80-х годов прошлого столетия). Для случайных процессов — это не панацея.
avatar
А. Г., а последний раз когда вы нейросетями хотя бы «баловались»? Что тут сказать, если ваши представления о машобучении остались на уровне середины 90-х, то результат закономерен.
Zweroboi, какая разница, если не менять входную информацию и перцептрон, когда «баловался»? А и то и другое я четко описал.
avatar
А. Г., если не менять — то никакой, согласен. А если поменять — то колоссальная. Как между перцептроном и глубокой сетью.
Zweroboi,  тут вот какой нюанс: лучший статистический прогноз, когда прошлое имеет многомерное нормальное распределение (пусть и с разными средними и дисперсиями и даже с недиагональной ковариационной матрицей) и будущее — тоже, ЛИНЕЕН. А любая нейросеть — это лишь добавление в прогноз нелинейности.
avatar
А. Г., прогноз чего? Если мы хотим спрогнозировать продолжится ли тренд, то с чего бы нам для этого пользоваться линейной моделью? Как распределено прошлое и будущее нас при этом очень слабо волнует, главное — результат.
Zweroboi,,  ну например, входная информация — прошлые приращения цен, а выходная — будущее приращение цены торгуемого актива. Если о первых и второй сделать предположение о многомерной нестационарной (!) нормальности, то нелинейность — это переподгонка по определению. А «тяжелые хвосты» могут быть и следствием нестационарности, а вовсе не доказательством отсутствия нормальности.
avatar

А. Г., ну например, предположим. Можно даже отложить в сторону нестационарность на время, так как это не есть что-то страшное и ужасное, с ней тоже в основном понятно как работать но там чуть другие методы.

Даже если мы делаем предположение о нормальности, хотя делать его совершенно необязательно и поэтому лучше не делать, но предположим сделали; то эта нормальность всё равно у всех случайных величин будет условной, вы мне сами об этом где-то тут писали. Соответственно, моделировать вот это вот всё многомерное распределение условных распределений линейной моделью может быть не совсем адекватно.

Как раз нелинейное приближение, которое мы можем получить при помощи нейронных сетей будет гарантированно более полезным. При ограничении рисков переобучения, конечно. 

Zweroboi, условная нормальность приводит к многомерной нестационарной в 99% случаев.
avatar
А. Г., и что? Моделировать-то всё равно надо.
Zweroboi, так модель многомерной нормальности сразу сужает круг поиска: линейные функции. Если уйти от них, то в рамках этой модели 100% попадешь в переподгонку. А линейные функции можно перебирать и без нейросетей. И даже эффективнее без них.
avatar
А. Г., да какая модель многомерной нормальности? Нормальность обычная одномерная, с мю и сигмой. Условность распределения этих нормальностей многомерная, её и моделируем, но тут никаких нормальностей и в помине нет и близко.
А. Г., я знаю, что такое многомерное нормальное распределение, я говорю что их там нет )
Zweroboi, если любая сумма нормальна с некоторым мю и сигма (разными для разных сумм), то почему нет? 
avatar

А. Г., потому что не любая сумма нормальна, но если использовать только приращения цен для довольно длинных входных векторов, у нас не хватит скорее всего реальных данных для того, чтобы статистически достоверно это проверить.

Feature engineering никто не отменял. При чуть более сложном отборе фич отклонения от многомерной нормальности входного вектора даже на не очень больших выборках масштаба нескольких месяцев становятся очевидны настолько, что о ней ничего не напоминает.

А то распределение, что мы получаем на выходе (то как распределены приращения цен сейчас) — вполне можно считать одномерным нормальным, особо ничему не противоречит.

Zweroboi, если каждое одномерное условно нормально, то трудно представить, что вектор не многомерно нормален. Очень вычурный случай получается.
avatar
А. Г., конечно трудно, и стомерное пространство очень трудно представить, но к счастью делать это необязательно, ЭВМ справляется с этой задачей лучше нас.
Zweroboi, да неважно сколько оно мерное. Нам ведь важен прогноз.  А он от факторов линеен.
avatar
А. Г., зависит от модели )
Zweroboi, ну я чётко сказал про модель: многомерная нормальность. Необязательно с одинаковыми средними и дисперсия и диагональной матрицей ковариаций. 
avatar

А. Г., ну это частный случай и далеко не самый полезный

Можно даже сказать вырожденный 

А. Г., если даже взять смешанное распределение из нескольких многомерных нормальных — уже можно что-то поинтереснее получить и привет нелинейщина )
Zweroboi, линейная комбинация многомерных нормальных — тоже многомерное нормальное.
avatar
А. Г., это так в случае распределения линейной комбинации нормально распределённых случайных величин, но я-то говорю о случайной величине с распределением в виде линейной комбинации нормальных распределений. Вы походу не вчитываетесь в термины, коллега, не говоря уж о том, чтобы их загуглить и освежить в памяти )
Zweroboi, это что-то а-ля Тьюки или а-ля обобщенное гиперболическое? Ну так если каждая компонента — условно нормальна, то по ансамблю и будет последнее. Только это не отменяет линейности прогноза. Это только если условной нормальности компонент нет, то да, откуда там взяться многомерной нормальности. 
avatar
А. Г., да ниоткуда там не взяться многомерной нормальности. Не понимаете так не понимаете, не надо — так мне тем более…
Zweroboi,  я действительно не понимаю как при наличии условной нормальности каждой компоненты нет многомерной нормальности. Я бы понял, если б Вы сказали, что у компоненты распределение в виде взвешенной суммы нормальных и потому нормальности нет. Но как в этом случае получается условная нормальность компоненты?
avatar
Zweroboi, Ерунда! Машобучение-это только инструмент, а идее, чему и как обучать тут надо чтоб в голове было!
Лучший ученик Ванюты, никто не спорит, что инструментом надо ещё уметь пользоваться. Просто в какой-то момент хорошие инструменты стали доступны нахаляву и всем, соответственно и количество народу, которые умеют и с хорошим инструментом резко выросло
Тяжело наверное 2 года без прибыли сидеть? Последние?
avatar
hedgefinance.ru, ну не 2 года, 3 января максимум счета был и сейчас, пусть и не сильно, но выше. А год сидеть — не первый раз  даже на тестовой части. Хотя конечно оба превосходства максимума 18.03.2016 — микроскопические.
avatar
зачем вам вообще кому то доказывать?

avatar
Борис Литвинов, это ответ на вполне разумный вопрос о тестах в обсуждении моего прошлого топика. 
avatar
А. Г., При том, что трехзначная доходность только в одном году, прибыльность и сложные проценты на длинном интервале делают свое дело.
avatar
Не люблю такие бэктесты — нигде нет гарантии, что образовавшийся флэт — не навсегда, из-за того, что пару лет назад в подобную стратегию залезли пара больших фондов, польстившись на предыдущие 10 лет бэктеста.
Опять же, реальный перформанс, который вы публиковали недавно — кажется скромнее. Что также намекает, что это всего лишь бэктест — т.е. некая вытянутая из прошлого красивая картинка, которая вряд ли повторит себя хотя бы приблизительно в будущем.
P.S. Кстати, графики с доходностью 1400% на истории правильнее уже все-таки отрисовывать в лог-масштабе по оси Y, чтобы не вводить публику в заблуждение.
avatar
MadQuant, а какие бэктесты на ваш взгляд стоит любить? Как по мне, аргументом или предметом для серьезного диалога должна быть только реальная эквити. Все бэктесты — дело внутренней кухни разработчиков… нет?
avatar
Sergey Pavlov, я люблю «честные» бэктесты, в том смысле, что вы не показываете участок, на котором фитили какие-либо параметры (и вообще что-либо оптимизировали и выбирали), а показываете честный walk-forward out-of-sample. Правда, такие бывают очень редко, даже в крупных фондах, в которых мне довелось работать, доля оверфита в эквитях довольно велика.
avatar
MadQuant, реальная картинка по этим системам скромнее только из-за снижения MAXDD с — 25% до — 15%. После суммарного минусового результата за 3 года (с июля 2009) с просадками,  близкими к MAXDD,  я сознательно пошёл на это. А все остальные минусы —  это неудача с трендовиками на часах (небольшой минус осень 2013-январь 2014)  и продажей волатильности в в опционах (март 2014). Тесты и реальность с точностью до MAXDD статистистически совпали. А с графиками я не мастер,  рисую исключительно для внешнего мира и переключение в логшкалу в Excel какую то ошибку выдало,  наверное из-за небольших минусов вначале,  а перерисовывать от 100% было лень. 
avatar
А. Г., 
реальная картинка по этим системам скромнее только из-за снижения MAXDD с — 25% до — 15%. После суммарного минусового результата за 3 года (с июля 2009) с просадками,  близкими к MAXDD,  я сознательно пошёл на это. А все остальные минусы —  это неудача с трендовиками на часах (небольшой минус осень 2013-январь 2014)  и продажей волатильности в в опционах (март 2014).
Ну то есть вы сами признаете, что:
— здесь survivorship bias, потому что вы нарисовали из трех торговавшихся систем только ту, что не скисла по дороге (в отличие от трендовиков на часах и продажи волатильности)
— а кроме этого еще и психологически испытываете проблемы торговать такую эквити — собираете просадки на максимальной экспоже, а уже на дне ее сбрасываете на 40%.
Собственно, в этом и мои претензии к подобным бэктестам. Нарисуйте суммарный бэктест всех трех систем, которые торговали, и еще с логикой что в глубоких просадках вы сбрасываете экспоже к этой системе — это будет более честная картинка.
avatar
MadQuant, во-первых, система не одна, а это все мои трендовые системы со среднем временем в позиции чуть больше двух дней. Во-вторых, все эти системы торговались и до 12 июля 2012, а изменения коснулись подхода к шортам в них и фильтрации по фильтрам пилы и волатильности. Так что это не тест систем, а тест добавления шортов с меньшим объемом, чем лонг (уменьшение объемов происходило по принципу: добавление шорта не должно увеличивать годовую просадку по сравнению с просадкой лонга) и собственно фильтров.  survivorship bias тут в прореживании и добавлении эмитентов, на основе результатов «только лонга» в 2007-2012. Да, худшие эмитенты были выброшены (кроме Роснефти, которая выпала из-за сильной корреляции Эквити с Газпромом), РИ-добавлен. Никель, после «исправления» работы систем в нем в 2013-2014 — возвращен. Да и включение в портфель Si после 2014 — это понятно, но на результатах 2012-2013 последнее практически и не отразилось. А необходимость фильтрации «пил» после 2010-2011-го была очевидна и только поиск ответа на вопрос «Как?» задержал модификацию.  А часовик и опционы — это «из другой оперы»: вот из этой. Часовик просто лил, там же, где и эти трендовые системы, а опционы — это 3 марта 2014. Все остальное время они только улучшат эту Эквити. Ну увидите Вы на графике большой провал 3 марта с малозаметным глазу улучшением вне его. Что изменится? Все равно от продажи опционов я полностью отказался, зачем тест того, чего нет и не будет?
avatar
А. Г., можно долго спорить, есть ли тут bias и сколько его, но по факту мы имеем следующее: бэктест под 30% годовых (27+, если быть точным), и реальность под 15% годовых, и то с натяжкой (скромнее после 2009 года, так что по доходности/риску точно выгоднее хранить в банке). И я не пытаюсь принизить ваши достижения: это хороший результат для Live счета, особенно с учетом условий на рынке за этот период времени. Но надо честно сказать зрителю, что с учетом того-другого-третьего (survivorship bias, потому что в итоге оставили эту систему, selection bias, потому что выкидывали по дороке прокисающие тикеры) 30% превращаются в 15%, и это и будет честная цифирь по этому бэктесту.
avatar
MadQuant,  в 2015-2017 реальность,  умноженная на 5/3 даже лучше бэк-теста.  А я сразу написал,  что в бэк-тесте другие лимиты. 
avatar
А. Г., зачем рисовать бэктест, про который вам доподлинно известно, что психологически он для вас не торгуем? Нарисовали бы с нормальными плечами — доходность бы была близка к реальным результатам даже с 2008-го года — гораздо меньше вопросов у публики, я так понимаю
avatar
MadQuant, он торговался на деньгах компании даже чуть с большим плечом. Потому что позволял риск-менеджмент и оно было даже меньше,  чем у других управляющих.  Я бы мог и свой счёт умножить на два в 2015-2017 и сказать,  что это мои результаты и это было бы правдой на деньгах компании. Но откуда мне взять документы,  это коммерческая тайна. И,  кстати,   в 2009-м у теста с таким плечом доходность меньше,  чем у меня в реале.  Какое плечо то ставить? 
avatar
А.Г., с первых лет своей торговли, уже лет 17 наверное минимум читаю Вас, на разных ресурсах. Как Вас так и про вас на финаме, Мфд, ХоуТоТрэйд и разной фин.периодике и сейчас тут интересно вас читать. Искренне желаю Вам найти более денежную и менее нервозную работу чем в Форуме, хотя наверное по большому счету и там работа была интересная. Эквити впечатляющее и наклон мужицкий. Не понять тем кто чрз столько кризисов прошел и денег не профукал, а хотя бы сохранил. Вы один из очень немногих профи на этом «чертовом» рынке, которого я могу без сомнений посоветовать. Желаю экспоненты в профитах.
avatar
Serenity, спасибо. 
avatar
Просто шикарно, особенно кризис 2008 понравился.
А проценты откуда такие большие получаются? Плечо 3-4 используется?
avatar
qwerty, плечо 1:0.5 при стандартных объёмах лонга (шорт по обьемам меньше)  и 1:1,7 при включенном «фильтре плечей»  (~22% времени на этом графике).  Как я уже написал,  если смотреть по годам,  то только в 2009-м трехзначная доходность.  Без 2008-2009 среднегодовая 27,1% годовых,  но без убыточных годов.  А итоговая цифра —  это просто сложный %% за почти 11 лет. 
avatar
А. Г., спасибо, я просто не учёл что 2008 и 2009 годы аж 300%.
Отличные результаты, думаю реальная эквити не сильно отличается.
Могу только поздравить. :) 
avatar
1 на картинке рефинансирование и нет гиперболы… т.е не гуд ниразу
хотя… может это комиссы так душат…

2 и 2 года боковика причем последних…
т.е можно говорить что система сломалась

3 кстати у мя тож в этом году сломалась

4 кстати а сколько стоит такая торговля в % от депо?
у мя было 20% (комиссы + проскальзывания) от счета в год но мне удалось сделать 11%, причем они отбиваются дивами и облигациями практически до уровня 3-4% в год



avatar
ves2010, такое впечатление что здесь оптимизация присутствует очень сильная.
avatar
ICEDONE, там 1ин параметр… можно и без параметров вообще, но тогда средняя сделка будет меньше на 30%

и кстати это без плеч
и эквити от 2007г ровненькая-ровненькая… а тут бац и дродаун в 25%

я как то в парном трейденге делал эквити с максимальным дродауном в 4-5% максимум… но там выхлоп был 15-20% в год а шорт стоит 15% т.е. не окупилось бы…
avatar
ves2010, 
1. На эквити трендовых систем,   построенных на таймфрейме,  близком к среднему времени в позиции,  постоянной гиперболы не бывает, а временами и на этом графике встречается. 
2. На низкой волатильности у грамотных трендовых систем так и должно быть.  А какая будет волатильность в будущем никто не знает (на тему трудностей для трендовиков в условиях низкой волатильности и как с этим бороться,  я напишу отдельный топик). 
4. 7-8 оборотов капитала в месяц на графике,  значит для акций получаем 14-16%% годовых комиссия плюс проскальзывание.
avatar
А. Г., 8оборотов в месяц* 0.1% проскальзывания и комиссы *2 т.к. вход-выход*12месяцев=19% в год только затраты на торговлю!!! дороговато выходит 




avatar
ves2010, ну отбивается же. А просадки ограничены.
avatar
А. Г., идея в том что
1 мне надо заработать хотяб 20% в год… затраты на торговлю 3% в год… т.е. мне надо заработать 23% годовых  
2 мне надо заработать те же 20% годовых при затратах 20%… т.е чтоб получить 20% чистыми надо заработать 40% грязными...

что проще? сделать 23% или 40%???
кроме того, высокие расходы могут наложиться на длительный и глубокий дродаун
avatar
ves2010, цифры доходности ничто без просадок. А для трендовых систем, чем больше частота сделок при нулевом проскальзывании, тем выше Доходность/MAXDD. Да и при любом априори заданном проскальзывании найдется точка максимума этого соотношения по частоте сделок и уменьшать ее бессмысленно. В моем случае это и есть точка максимума этого соотношения для упомянутых проскальзываний.
avatar
Ну что ж, ждем отскока вниз от 1300% на тест 1200%, а там и уровень 1000% близок
avatar
Zweroboi, ок, завтра отпишусь снова в личке с просьбой написать формулы, откуда получается условная нормальность и как при этом  не получается многомерная нормальность. Собственно непонимание только в этом.
avatar
Почитал вашу дискуссию и мой мозг просто вытек из ушей, спасибо… :) 
avatar

теги блога А. Г.

....все тэги



UPDONW
Новый дизайн