Тимофей Мартынов
Тимофей Мартынов личный блог
09 ноября 2015, 17:17

Разговоры о трейдинге №19. Критерии оценки системы

Допустим, вы по очереди тестируете две системы на одном инструменте. Получили два результата – две положительных теоретических кривых вашего депозита.  
Как оценить какой результат лучше?
Какую из систем запустить в работу?
75 Комментариев
  • Атрейдес
    09 ноября 2015, 17:20
    обе :-)
    • Атрейдес, логично. Диверсификацию ещё никто не отменял. Если возник вопрос — какую запускать, то значит надо запускать обе. Выделив лимиты пропорционально их эффективности.
    • SMA
      09 ноября 2015, 19:21
      Атрейдес, не одной, все равно обе сольют на длительном интервале. Пусть сделает как умеет, продаст ее на около рынке. Волатильность.
  • DarkElf96
    09 ноября 2015, 17:22
    Начало как в загадке про 2 стула)
    Наверное та по которой волатильность ниже
  • Скальпёр
    09 ноября 2015, 17:22
    профит фактор, максимальная просадка и рекавери, а также визуальный анализ графика эквити (плавность, угол наклона).
    проще не выбирать что то одно. Если зарабатывают обе системы проще их обе и запускать.
  • vladkot
    09 ноября 2015, 17:24
    Если оба теста норм имхо стоит запускать обе, особенно, если одна тренд другая конттренд. Общая эквити будет плавнее…
  • Lyoha111
    09 ноября 2015, 17:24
    Конечно обе, а время покажет!
  • Здравствуй Коля
    09 ноября 2015, 17:25
    шарп?
    корреляция?
  • Hyp
    09 ноября 2015, 17:26
    Лучше тот где просадок меньше
  • Lyoha111
    09 ноября 2015, 17:26
    Или выложить описание обеих систем, а мы уже подскажем, что лучше))))
  • FanatikBMW
    09 ноября 2015, 17:30
    ту на которй просадке меньше
  • Redline
    09 ноября 2015, 17:31
    Вопрос не какую запустить, а когда останавливать запущенную.
    Интересно мнение ves2010
  • evgen000
    09 ноября 2015, 17:43
    Систему Муханчикова
  • Дмитрий ЕрМак
    09 ноября 2015, 17:46
    Какой результат лучше? — Где лучшее соотношение Риск / Доходность (через заемное плечо можно привести к нужной доходности или риску).
    Какую запустить? — Где время восстановления меньше (психология).
    Ну и соглашусь, что если системы раскоррелированы между собой, то запускать обе
    • vladkot
      09 ноября 2015, 18:06
      Дмитрий ЕрМак, про психологию верно. Не стоит запускать систему, которая на длительном отрезке времени в просадке либо топчется на месте. Хотя если все протестировано на 5-7 годах, система зарабатывает хотя бы по итогам года каждый год и есть такие участки боковика в эквити, то если терпеливость позволяет, можно и запустить. Но надо быть либо оптимистом либо пох… стом чтобы торговать такие системы.)) Нервы не у всех железные.)
      • Дмитрий ЕрМак
        09 ноября 2015, 19:04
        vladkot, да, согласен, если было бы терпение… Но известно, что человек хочет всего и сразу. Поэтому терпеть систему, которая не приносит прибыли целый месяц — трудно. Выход: либо мельчить (переходить на мелкие ТФ), либо брать группу стратегий.
  • evgen000
    09 ноября 2015, 17:49
    Писалось же об этом у Винса, в трейдинге давно уже все разжевано, причем опираясь на математические выводы, а не коллективное мнение нескольких трейдеров.
  • Мануйлов Александр
    09 ноября 2015, 17:49
    Если доходность примерно одинаковая, то выбрать ту у которой просадка меньше и меньшее количество сделок(для уменьшения потерь на проскальзывании)
  • Финансовый трутень
    09 ноября 2015, 17:52
    Вам бы, Тимофей, читать книжки, а не свои писать...
    Та система счиатется лучшей, у которой выше HPR (геометрическое ожидание выигрыша), читайте Ральфа Винса «Математика управления капиталом»
    • evgen000
      09 ноября 2015, 17:53
      Финансовый трутень, Верно!!! Вот видно что человек черпает инфу с нужных источников, Винс давно уже обо всем написал. Не надо тут велосипед изобретать.
      • Финансовый трутень
        09 ноября 2015, 20:09
        Тимофей Мартынов, ну что-нибудь понял там наконец? :-)
        судя по этому топику — нет :-)
  • Ед В
    09 ноября 2015, 17:53
    одну запустить, вторую продать смарлабовцам
  • Владимир Спицын
    09 ноября 2015, 17:54
    1.Никак не определить какая БУДЕТ лучше С ПРАВОЙ стороны графика… кроме реальной торговли)))
    2.Никак не выбрать — нет однозначных критериев — процесс вероятностный.
  • evgen000
    09 ноября 2015, 18:02
    Интересная методика написания книги ))
  • Максим Свиридов
    09 ноября 2015, 18:03
    Как это делаю я...

    1-Если Профит-фактор меньше 1,4-1,5 — систему в отстойник)) Сразу без разбора причин..

    2-Если средняя сделка меньше 100 пунктов по РТС, то тоже — сразу в отстойник..

    3-Сравниваем показатель самых худших 12 мес. (года) с просадкой за весь период тестирования… Если в самый худший год мы заработали 20%, а просадка 30% — то это не очень гуд..

    4-Берем самую худшую доходность за 3 года и сравниваем с макс. просадкой за весь период тестирования… Если соотношение меньше 1 к 10 (доходность за 3 года — 100%, просадка -10%) то система — не очень...

    5-Проводим манипуляции с плечами для подбора оптимального соотношения доходности и риска… Тут много вариантов… И Ральф Винс — не особо ОГОНЬ)))

    6-Если есть переносы в ночь — надо смотреть каждый гэп и цену исполнения сделки..

    7-Очень важен не сам размер просадки, а время сидения в просадке… Лучше просадка — 30% — и она будет длится 2 мес., чем просадка 10% с длительностью 12 мес. — ну это при одинаковых показателях доходность / риск.



    Да много чего можно написать)))
    • Свиридов Максим Trader-journal, наверное ты сегодня в изрядном плюсе, Максим. Улыбаешься широко. А меня попилило нынче. :-(
      • Максим Свиридов
        09 ноября 2015, 18:34
        Вестников, нее… я сегодня ливанул опять)))
        • Свиридов Максим Trader-journal, ну тогда я тоже могу улыбнуться. Хоть и грустно. Вот так. |
          • Максим Свиридов
            09 ноября 2015, 18:47
            Вестников, да норм))) надо дождаться опять месяца, когда перевернётся и на нашей улице Камаз с плюшками… Главное, много не слить до этого момента…
  • Антон Б
    09 ноября 2015, 18:03
    обе.
    В объем распределить по максимальной просадке.
    макспросадка1*объем1=макспросадка2*объем2
  • Антон Денисков (Fry)
    09 ноября 2015, 18:05
    две положительных теоретических кривых вашего депозита.


    Спасибо, посмеялся.
    Никаких теоретических кривых, косых и прямых у депозита нет =)

    Историческое тестирование помогает только в одном направлении — отсеить полный шлак (заведомо сливные идеи).

    Выбирать параметры ТС на основе исторических, якобы, «профитных» тестов — это всё равно что ожидать после нескольких орлов подряд следующего орла или решку ТОЛЬКО на основании факта «ну было же несколько подряд!».
    Иными словами, сам вопрос некорректен.
  • Brad Tick
    09 ноября 2015, 18:23
    Не должно быть длительных боковиков у системы, как уже упоминали выше
  • EAGor
    09 ноября 2015, 18:31
    1. Чем больше сделок тем лучше. Система с количесвом сделок меньше 1000 скорее всего подгонка.
    2. Тестируй систему на других инструментах.
    3. Оптимизируй ситему на одном участке, тестируй на другом.
    4. Торгуй несколько систем.
    • Финансовый трутень
      09 ноября 2015, 18:59
      EAGor, можно так оптимизировать, что и с 1000 сделок система будет подгонкой. минимальное кол-во параметров системы — гарантия честности системы
      • EAGor
        09 ноября 2015, 19:14
        Финансовый трутень, да оптимизируемых параметров должно быть минимум. Вся оптимизация и подгонка выплывает, когда систему тестируешь на других акциях. Я беру для теста акции из MICEX10.
        • Финансовый трутень
          09 ноября 2015, 19:37
          EAGor, а учитываешь выплаты дивидендов по тестируемой акции? ведь после отсечки акция резко просаживается в цене
          • EAGor
            09 ноября 2015, 19:47
            Финансовый трутень, да.
            • Финансовый трутень
              09 ноября 2015, 20:04
              EAGor, а какую закладываешь ставку дисконтирования для дивов?
              • EAGor
                09 ноября 2015, 20:10
                Финансовый трутень, определяю по фьючерсам.
                • Финансовый трутень
                  09 ноября 2015, 20:18
                  EAGor, сечешь тему. а тестируешь системы в чем?
                  • EAGor
                    09 ноября 2015, 20:26
                    Финансовый трутень, от инструмента тестировани результат не меняется. Тесты пишу сам.
                    • Финансовый трутень
                      09 ноября 2015, 20:36
                      EAGor, это понятно, но интересно на чем люди свои идеи обсчитывают, я вот, как лох, на excel'е… :-)
  • day0markets.ru
    09 ноября 2015, 18:47
    Если обе системы рабочие — запускать обе. Почему нет?
    Распределять лимиты исходя из волатильности эквити. Не той, что получилась на истории. А эквити реальной торговли тестовым лимитом.

    Ну и количество сделок в бектесте должно быть 1000+ если система с 2мя параметрами, если параметров больше 2х, то стоит задуматься о подгонке под историю. Если параметров нет вообще, то можно и 300 сделок взять. Но комфортно ли будет такое торговать?

    Чем больше сделок и систем, тем стабильней суммарная эквити.
  • Mistrallis
    09 ноября 2015, 18:53
    где кривая с меньшим количеством рывков.
  • Сергей Грошев
    09 ноября 2015, 19:11
    Щас вес придёт и скажет, что надо выбрать ту, которая на двух EMA, т.к. больше ничё не работает.
    • ves2010
      09 ноября 2015, 19:25
      tim, 2 ема сложно очень… торгую ботом на 1ой SMA очень доволен…
      • Сергей Грошев
        09 ноября 2015, 19:35
        ves2010,

        ты помнишь, у Стругацких была такая книжка «Далёкая радуга». Там был мужик, который ходил всё время в каске. По-моему, его Камилл звали?
      • EAGor
        09 ноября 2015, 19:45
        ves2010, ипользуй медиану результат лучше!
  • ves2010
    09 ноября 2015, 19:17
    надо конкретно смотреть… и конкретно обсуждать…
    1 эквити это дело десятое… например один бот может торговать охульеном а второй тока мильоном… либо у одного 1 параметр оптимизации а у другого 3...
    один торгует только сбер а второй торгует все подряд… у одного поле оптимизации 100% профитное а у вторго поле оптимизации на 80% убыточно...
    2 если это одинаковое то смотрим доходность, среднюю сделку и дродаун, но не от хаев эквити а от начальной суммы
    3 если дохи, средняя и дродаун приммерно равны, то нужно найти непрерывный интервал стабильности параметров оптимизации на котором доход изменяется в пределах от 100% до 50% тот у кого этот диапазон ширее тот и лучше…

    ну это вкратце…
      • ves2010
        09 ноября 2015, 20:42
        Тимофей Мартынов, тестить надо без комиссов и без проскальзываний… чтоб увидеть резалт тестов без искажений… комиссы и проскальзывания вычитаешь из средней сделки… для акций средняя сделка от 0.18% в фьючах от 0.1% в си от 0.05%
        • OrderFlowTrader
          10 ноября 2015, 16:46
          ves2010, пздц как всё сложно и субъективно! без комиссий и искажений… идеалист ёпта))) безабид! не учитывайте рыночных реалий кроме цены! для демо пойдет! тут мля наоборот отматываешь чарт к 1000м годам до нашей эрыя, усредняешь свою прибыль, считаешь комису и стопы по полной, а тут оказывается накуй это надо когда можно мечтать об идеальном!
  • SMA
    09 ноября 2015, 19:19
    Тима, два тебе за не знание !:)
  • Deleted
    09 ноября 2015, 19:29
    Один из самых простых способов, это применить метод Монте-Карло.
  • iMAG
    09 ноября 2015, 19:33
    Тимофей, пора бы и самому что-нибудь рассказать. С высоты написанного:)
  • nfc
    09 ноября 2015, 19:37
    возможно «ulcer index» подойдёт
  • Антон Денисков (Fry)
    09 ноября 2015, 20:57
    Один состоятельный господин всю свою жизнь всё делал по системе. Вот и жениться он решил тоже по системе.
    Шёл длительный и нудный отбор.
    В финал на должность жены вышли три девушки.
    Каждой из них завидный жених выдал крупную сумму денег в качестве приза.
    Через месяц девушки ответили ему примерно так:

    — Любимый, я сделала всё, чтобы великолепно выглядеть. Потратила все деньги, чтобы рядом с тобой была самая роскошная девушка, ты достоин самой лучшей! Пусть весь мир завидует такой прекрасной паре как мы!

    — Любимый, я купила тебе самый лучший подарок, который только можно было купить на все деньги. Я знаю, что тебе понравится, это то о чём ты мечтал. Твоя мама мне рассказала...

    — Любимый, все деньги я вложила в акции твоей компании со вторым плечом, когда увидела как ты ведёшь дела. Это была отличная инвестиция. Скоро я смогу вернуть тебе начальную сумму с процентами и у меня ещё останется значительный пакет наших акций!

    Господин долго думал… И знаете на ком он женился?
    • Атрейдес
      09 ноября 2015, 21:19
      Fry (Антон), у кого самые большие титьки :-))
  • Выяснить что не так, отчего они зарабатывают на тестах. Вероятнее всего смотрят в будущее.
  • ZDH
    10 ноября 2015, 12:06
    Смотри на просадки по системам, высчет сложного процента и если устраивают обе, на субсчет 2ю.
  • OrderFlowTrader
    10 ноября 2015, 16:25
    вот ты херней страдаешь! усложняешь звездец как! так и будешь бабло сливать какой рынок тебе не дай! вот увидишь. запомни, пускай я пока неизвестен что бы давать советы таким как ты!!! но млять система для прибыльной торговли для всех реальных трейдеров одна или хотя бы примерно одинакова тк строится на базовых приницпах! вообще накуй бери найс и CME не лезь на россию накуй тебе эти рубли делай доллары! торгуй от уровней с узким стопом а не ищи свое не найдешь! в сети есть вся доступная инфа что бы построить мало мальски прибыльную систему! да и интуитивно можно мля самому догадаться!!! проблема слабачков которые не могут заработать в том что они ска либо не могут в кучу собраться все никак! либо пытаются заниматься 20 тысячами систем одновременно и еще бизнесом и свой сайт вести! никогда бы я долго не парился с тупыми тестами этих систем роботов и тд я бы доверил это тем у кого это хорошо получается а сам делаю что умею и не пытаюсь жадным способом заработать на рынке как то еще — прям ВСЁ И СРАЗУ! делает деньги тот кто сводит трейдинг к простоте, это еще АМ сказал который зарабатывает больше всех вас вместе взятых
  • Vladimir
    10 ноября 2015, 17:03
    Sharpe Ratio надо смотреть. У какой системы выше, та значит БЫЛА лучше)))

Активные форумы
Что сейчас обсуждают

Старый дизайн
Старый
дизайн