История одного фиттинга

Шел 2015-й год, лето.
С нашей командой сотрудничал один математик.
Он пришел с комплексом контртрендовых систем.
Основа — теорвер, всё в рамках случайных событий, байесовский подход и максимизация апостериорной вероятности через подгонку на прошлых данных. Всё на часовых данных.
Был представлен тест системы за несколько предыдущих лет:

Всё было красиво, но сильно смущали два момента:
1. Контртренд.
2. Контртренд на часовиках.
3. Способ максимизации вероятности успеха по прошлым данным выглядел ну прям как очень перепереподгонка.
4. Отсутствие у математика (автора данной стратегии) хотя бы одной сделки на реальном счете по системе.
Заглядывания в будущее не было, сделок в гэпах и прочей неторгуемой мути не было — это я сам проверил.

Эту систему мы начали программировать и вести виртуальный учет сделок. Прошло два месяца, система была запрограммирована, мы посмотрели на эквити и она «сломалась» прямо сразу на новых данных:

Ну и не стали мы запускать эту систему на реальных деньгах.
Ну и как-то забылось.
Ради любопытства я решил подгрузить данные за минувшие с тех пор 2,5 года и вот что получилось:

Бывает и так. Хотя чаще в подобных тестах на свежих данных — слив или болтанка возле нуля.

melamaster

Sergey Pavlov

Красноярск

482

21 011

с 9 ноября 2015

39 Комментариев

Nicker
08 марта 2018, 08:08
сколько выделили этой системе? 100тр? на каких рынках? какие плечи?
0
- Sergey Pavlov
  08 марта 2018, 09:00
  Nicker, нисколько. В реальных торгах эта система так и не побывала.
  0
  - Enter1
    08 марта 2018, 12:56
    Sergey Pavlov, побольше таких постов!!!
    +1
Boris Litvinov
08 марта 2018, 08:50
впечатляет! Но контр тренд многих убил
0
akuloff
08 марта 2018, 09:08
Это был не слив, в просто возврат к среднему углу возрастания эквити. Это просто грааль. Тот математик не приглашал на новоселье в Провансе? :-)

+2
- SergeyJu
  09 марта 2018, 11:16
  Alexey Kulikov, интересная картинка.
  0
- Sergey Pavlov
  09 марта 2018, 18:21
  Alexey Kulikov, Это смотря как рисовать линии (чтобы не hindsight):
  
  0
  - akuloff
    09 марта 2018, 18:52
    Sergey Pavlov, Вообще-то надо по линейной регрессии по идее
    0
виталюня
08 марта 2018, 09:18
Комиссии были учтены?
0
- Sergey Pavlov
  08 марта 2018, 09:29
  виталюня, да.
  0
виталюня
08 марта 2018, 09:29
на других инструментах пробовали?
0
Bob Butilochkin
08 марта 2018, 09:56
А проскальзывание учитывали на графике? А то интервал же часовой
0
- Sergey Pavlov
  09 марта 2018, 04:41
  Владимир Савосик, да. Комиссии+проскальзывания включены.
  0
Я не пью!
08 марта 2018, 10:17
лучший пост за неделю на смарт-лабе. а какой инструмент?
+1
- Sergey Pavlov
  09 марта 2018, 04:42
  Zenon Eleates, инструмент супер ликвидный. Типа сишки для нашего рынка.
  0
VladMih
08 марта 2018, 10:39
Ну и тестировщики… Еще и целая команда!..
0
SergeyJu
08 марта 2018, 11:37
Возьмете в работу?
0
- Sergey Pavlov
  09 марта 2018, 04:44
  SergeyJu, не знаю. Как минимум, надо что-то пересмотреть в своей голове в плане методологии. Я был уверен, что после подсчетов на свежих данных будет слив. Вот как быть в такой ситуации, когда уверен, что систему торговать нельзя, но она прошла вот такой тест?
  +2
  - SergeyJu
    09 марта 2018, 11:15
    Sergey Pavlov, пустить «по маленькой» и попытаться понять источник дохода. Да, и посмотреть корреляцию с трендовиком на том же активе.
    0
П М
08 марта 2018, 12:16
так у вас дродаун в пунктах (₽), а не в %?

филосовский вопрос: должен ли ДД оставаться стабильным при рефинансе?

и кстати смотрите, допустим 10 сделок, 5 профитных, ДД=0, а дальше ДД снижается на 1% в каждой из 5 сделок,
т.е. ряд ДД
0,0,0,0,0,-1,-2,-3,-4,-5
и второй ряд
0,0,0,0,0,0,0,0,0,-9
и третий
0,-2,0,-2,0,-2,0,-2,0,-2
что лучше?
0
- Sergey Pavlov
  09 марта 2018, 04:45
  ПBМ, здесь нет рефинансирования, это линейная кумулятивная эквити в относительных величинах доходностей.
  +1
  - П М
    09 марта 2018, 10:35
    Sergey Pavlov, я ещё высчитываю «интегральную ДД», но никогда правда не строил её график, а тут задумался.
    «интегральная ДД» — это сумма ДД которые образовались по результатам всех прошлых сделок, делённая на число сделок.
    
    идея в том, что после длительных 0, «интегральная ДД» сильно растёт. и потом однократно восстанавливает статус-кво.
    +1
SenSoR
08 марта 2018, 14:44
Такое и у меня было. Причем на реальном счете)

Поэтому я никогда не скидываю системы, которые обновляют свою макс просадку. Это глупо. Лучше смотреть по рекавери фактору, что бы тс быстро вернулась на свой хай)
+5
- П М
  09 марта 2018, 10:32
  SenSoR, кажется есть небольшая разница, как считать рекавери:
  средне-месячно, средне-годово или за всё время.
  
  интересно, как ты считаешь?
  +1
  - SenSoR
    09 марта 2018, 17:04
    ПBМ, За все время)
    +1
старый трейдер
08 марта 2018, 14:58
Как обычно, добавлю свою песню о главном: без понимания причины заработка, то бишь — не ведая теряющих, приходится постоянно опасаться кончины закономерности.
+2
- SergeyJu
  09 марта 2018, 11:08
  старый трейдер, описание теряющих = бессмысленный нарратив.
  Предположим, Вы придумали истории о том, кто проигрывает этой системе. Как эту историю верифицировать, как использовать?
  По мне — никак.
  0
  - старый трейдер
    09 марта 2018, 11:20
    SergeyJu, способ построения модели оставляю на выбор воспльзовавшегося советом, к сожалению, «каждый полезный совет может быть использован против вас», поэтому естественную человеческую социальность приходится ограничивать.
    
    0
    - SergeyJu
      09 марта 2018, 11:23
      старый трейдер, конструктива не было и не будет?
      0
      - старый трейдер
        09 марта 2018, 11:29
        SergeyJu, выкладываю кучу прогнозов с винрейтом под сотню, иногда даю советы, ничего в ответ не прошу, что тут неконструктивного?
        0
        SergeyJu
        09 марта 2018, 11:36
        старый трейдер, прогнозы обычно абсолютный неконструктив. Ваши чем-то лучше?
        0
Андрей Керш
08 марта 2018, 21:22
Легенда выдуманая
0
Иван Иванов
08 марта 2018, 21:24
А если запустить её на реальных деньгах, то опять будет сливать. Может быть так хорошо показывает на истории, что мы не можем учесть все факторы? А при торговле на деньги появляются много дополнительных факторов. Даже последующий рост эквити был продемонстрирован опять на исторических данных. И как вообще понять, если началась просадка системы на реальной торговле и эта просадка превысила максимальную на истории, то до какой величины терпеть — система ли эта сломалась или обновляется максимальная просадка?
+1
- Пафос Респектыч
  08 марта 2018, 22:24
  Иван Собакин, тут не может быть однозначного ответа. Зависит от того, как система создавалась и настраивалась. Если возможность понять закладывалась изначально, то с большой долей вероятности может быть можно определить, что что-то идёт не так. Если же нет — то скорее всего нет, только ждать и может быть понижать риски.
  0
Максим
09 марта 2018, 02:57
Рынок затроллил просто
0